怎么用Java实现非结构化数据迁移


本篇内容主要讲解“怎么用Java实现非结构化数据迁移”,感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让小编来带大家学习“怎么用Java实现非结构化数据迁移”吧!Java版S3Transfer工具目前为公测阶段,此迁移工具支持从AWS S3、阿里云、腾讯云、百度云等存储迁移文件到京东云对象存储;同时也支持本地文件列表迁移。大概逻辑为先获取文件的地址或外链,然后根据外链读取数据,然后进行迁移,这个工具是listObject,transfer,md5check 三个工具的集成:listObject工具的目的是列出用户配置bucket下的所有文件的列表。如配置prefix,则列出该prefix下的所有文件列表;transfer工具的目的是将源文件迁移到oss对象存储中;md5check工具用于md5值校验。支持丰富的数据源:
本地数据:将本地存储的数据迁移到 OSS;
其他对象存储:目前支持 AWS S3,阿里云 OSS,腾讯云COS,百度BOS,华为 OBS存储迁移至京东云OSS,后续会不断扩展;
URL 列表:根据指定的 URL 下载列表进行下载迁移到 京东云OSS;
Bucket 相互复制:京东云OSS的 Bucket 数据相互复制, 支持跨账号跨地域及同区域的数据复制。支持断点续传;支持流量控制;支持迁移特定前缀的文件;支持并行数据下载、上传;迁移校验:对象迁移后的校验。为保证实操的可操作性和直观性,本文档采用大文件传输(2个10G大小的文件),类型为s3file,从京东云账号①通过外网传输至京东云账号②对象存储空间,用来模拟跨公有云之间的对象存储迁移,任务控制端为京东云的一台Centos 7.4云主机。大文件传输会将单个文件分成若干个切片进行传输,如图: 2. 迁移过程中,迁移日志将默认打印到 ./log 目录下。迁移的所有文件将打印到audit-0.log中,迁移成功的文件将打印到audit.success日志中(如果将目标端传输成功的文件删除后,需要删除audit.success日志文件方可进行重新传输),如果需要筛选迁移失败的文件,请使用命令:需要准备两个京东云账号,一个在华北-北京创建对象存储空间,一个在华东-上海创建对象存储空间,以此来模拟跨公有云的对象存储迁移。账号①-华北-北京:beijing-to-shanghai
账号②-华东-上海:shanghai-from-beijing安装依赖包 2.安装以及编译 3.创建密码文件Access_Key_ID:Access_Key_Secret获取方式:https://uc.jdcloud.com/account/accessKey 4.挂载对象存储到本地目录/hcc(目录名称根据自己的名字简称定义)mkdir:创建hcc文件夹作为本地挂载目录s3fs:手动挂载命令,其中bucketname为bucket名称、/hcc是本地挂载路径、passwd_file为密码文件位置、url为京东云对象存储兼容S3域名(请输入空间的Bucket域名) 5.查看挂载结果 6.通过dd命令在所挂载的对象存储里生成文件这个命令会在所挂载的源对象存储Bucket里生成2个大小为10GB的小文件。文件生成结果:下载解压jdk配置环境变量在配置文件尾部加入重新加载变量配置文件并查看jdk版本重点说明:jobType:任务类型,分为listObject列出文件、transfer传输、md5check md5检查,我们这里是传输,所以选择transfer;sourceType:数据来源的类型,分别为urlfile,diskfile,s3file(AWS S3、腾讯云COS、百度BOS、华为 OBS、京东云 OSS)aliyunfile,disklistfile(本地文件列表),我们京东云是兼容s3的,所以选择s3file;src.access.id/ src.secret.key:源对象存储的AK/SK;src.endpoint:源对象存储的Endpoint;
阿里云:https://help.aliyun.com/document_detail/31837.html?spm=a2c4g.11186623.6.572.6a537f5ewpHZJZ
腾讯云:https://cloud.tencent.com/document/product/436/6224
百度云:https://cloud.baidu.com/doc/BOS/S3.html#.E6.9C.8D.E5.8A.A1.E5.9F.9F.E5.90.8D
华为云:https://support.huaweicloud.com/api-obs/zh-cn_topic_0136050628.htmlsrc.bucket:源对象存储的Bucket;des.access.id/des.secret.key:目标对象存储的AK/SK;des.endpoint:目标对象存储的Endpoint;des.bucket:目标对象存储的Bucket;注:如下标红内容是我们需要关注的(“:“ 后要加个空格才能生效):##########################################################################################
#jobType 为 listObject,transfer
jobType: transfer
#sourceType 类型共有:urlfile,diskfile,s3file,aliyunfile,disklistfile
sourceType: s3file
#urlType : onlyUrl
########################### 香港云主机##################################################################
#sourceType 为 urlfile ,diskfile时,filePath 为必填项
#filePath:#urlFilePrefix: 10#该链接的Content-Disposition超过京东云限制,如不获取该header值继续传,则配置为true;否则将该url打印在错误日志里,由用户对该url的header值自行修改
ContentDispositionTooLongContinue: false
#sourceType为urlfile,表示从用户提供的url列表中迁移。文件列表内容为[ object外链,objectkey ] 使用逗号分隔###########################源bucket配置################################################
#jdcloud
#src.access.id : XXXXXXXXXXXXXXXXXXXXXXXXXXXXX
#src.secret.key: XXXXXXXXXXXXXXXXXXXXXXXXXXXXX
#src.endpoint : https://s3.cn-north-1.jcloudcs.com#aliyun
#src.access.id : XXXXXXXXXXXXXXXXXXXXXXXXXXXXX
#src.secret.key: XXXXXXXXXXXXXXXXXXXXXXXXXXXXX
#src.endpoint : https://oss-cn-beijing.aliyuncs.com#tencent
#src.access.id : XXXXXXXXXXXXXXXXXXXXXXXXXXXXX
#src.secret.key: XXXXXXXXXXXXXXXXXXXXXXXXXXXXX
#src.endpoint : https://cos.ap-beijing.myqcloud.com#baidu
#src.access.id : XXXXXXXXXXXXXXXXXXXXXXXXXXXXX
#src.secret.key: XXXXXXXXXXXXXXXXXXXXXXXXXXXXX
#src.endpoint : https://s3.bj.bcebos.com#aws
#src.access.id : XXXXXXXXXXXXXXXXXXXXXXXXXXXXX
#src.secret.key: XXXXXXXXXXXXXXXXXXXXXXXXXXXXX
#src.endpoint : https://s3.us-east-2.amazonaws.com#huawei
#src.access.id : XXXXXXXXXXXXXXXXXXXXXXXXXXXXX
#src.secret.key: XXXXXXXXXXXXXXXXXXXXXXXXXXXXX
#src.endpoint : https://obs.cn-north-1.myhuaweicloud.com#qiniu
#src.access.id : XXXXXXXXXXXXXXXXXXXXXXXXXXXXX
#src.secret.key: XXXXXXXXXXXXXXXXXXXXXXXXXXXXX
#src.endpoint : https://cn-south-1-s3.qiniu.com
#src.domainOfBucket : XXXXXXXXXXXXXXXXXXXXXXXXXXXXX#-bucket
#src.bucket : beijing-to-shanghai
#src.prefix :##################目标bucket配置 destination ############################################################
des.access.id : XXXXXXXXXXXXXXXXXXXXXXXXXXXXX
des.secret.key: XXXXXXXXXXXXXXXXXXXXXXXXXXXXX
des.endpoint : http://s3.cn-east-2.jdcloud-oss.com
des.bucket : shanghai-from-beijing
des.prefix :后台启动:前台启动:通过传输过程提示,我们可以看到文件传输状态和结果:任务传输完成后如下图:我们点击目标对象存储空间shanghai-from-beijing,能看到在源对象存储空间beijing-to-shanghai生成的两个10GB文件已经传输过来了。到此,相信大家对“怎么用Java实现非结构化数据迁移”有了更深的了解,不妨来实际操作一番吧!这里是开发云网站,更多相关内容可以进入相关频道进行查询,关注我们,继续学习!

相关推荐: Javascript怎么实现网页抢红包

这篇“Javascript怎么实现网页抢红包”文章的知识点大部分人都不太理解,所以小编给大家总结了以下内容,内容详细,步骤清晰,具有一定的借鉴价值,希望大家阅读完这篇文章能有所收获,下面我们一起来看看这篇“Javascript怎么实现网页抢红包”文章吧。一开始…

免责声明:本站发布的图片视频文字,以转载和分享为主,文章观点不代表本站立场,本站不承担相关法律责任;如果涉及侵权请联系邮箱:360163164@qq.com举报,并提供相关证据,经查实将立刻删除涉嫌侵权内容。

(0)
打赏 微信扫一扫 微信扫一扫
上一篇 08/15 20:08
下一篇 08/15 20:09

相关推荐