可以通过指定大于 1 的值来加快复制速度。默认值为 20。 -bandwidth <bandwidth>: 用于限制数据传输的带宽。可以通过指定来避免过度占用网络带宽。 -update: 用于在目标端只更新新的文件和文件夹,避免重复复制已经存在的文件。启用此选项可以加速数据传输。 -overwrite: 用于覆盖目标端的文件。启用此选项后,如果目标端...
在默认情况下, Distcp 会跳过目标路径下已经存在的文件。 官网地址:http://hadoop.apache.org/docs/r2.7.0/hadoop-distcp/DistCp.html 2)适合的场景及其有点 1、适合场景: 数据异地灾,机房下线,数据迁移等。 2、优点: ① 可以限制带宽,使用bandwidth参数对 distcp 的每个 map 任务限流,同时控制 map 并发数量即...
-skipcrccheck:跳过CRC校验。 -bandwidth <bandwidth>:设置复制过程的带宽限制。单位为每秒传输的字节数,默认为无限制。 下面是一个示例,演示如何使用这些高级选项: hadoop distcp-update-overwrite-skipcrccheck-bandwidth1000000hdfs://clusterA:9000/data hdfs://clusterB:9000/backup 1. 上述命令将会在复制过程中跳...
--bandWidth 可选 设置单个节点的带宽限制,单位:MB。 -1 4.3.0+ 支持 支持 --codec 可选 设置压缩类型,支持的编解码器包括 gzip、gz、lzo、lzop和snapp。 keep(不更改压缩类型) 4.3.0+ 支持 支持 --policy 可选 设置目标存储策略,支持Standard、IA、Archive、ColdArchive。
hadoop distcp -update -skipcrccheck -delete -bandwidth 50 -m 100 -mapredSudo hdfs://src_cluster/user/hadoop/example hdfs://dst_cluster/user/hadoop/backup 命令中使用了以下参数: -update:只复制更新时间较新的文件; -skipcrccheck:跳过 CRC 校验; ...
当没有对原目录的写操作时(即停止了对源目录的写操作),可以使用以下命令来跨集群同步数据:hadoop distcp -delete -update -pugpb -m 10 -bandwidth 5 hdfs://xx.xx/ hdfs://yy.yy/ 当有对原目录的写操作时(即有对原目录的并发写操作),需要结合快照机制来同步数据:hadoop distcp -diff-update -pugpb ...
--bandWidth 可选 设置单个节点的带宽限制,单位:MB。 -1 4.3.0+ 支持 支持 --codec 可选 设置压缩类型,支持的编解码器包括 gzip、gz、lzo、lzop和snapp。 keep(不更改压缩类型) 4.3.0+ 支持 支持 --policy 可选 设置目标存储策略,支持Standard、IA、Archive、ColdArchive。
--bandwidth:指定带宽的大小,单位为MB。 示例如下。 hadoop jar jindo-distcp-<version>.jar--src/data/incoming/hourly_table--destoss://yang-hhht/hourly_table--ossKeyyourkey--ossSecretyoursecret--ossEndPointoss-cn-hangzhou.aliyuncs.com--queueyarnqueue--bandwidth6--parallelism10 ...
cleanUpPending - clean up the incomplete upload when distcp job finish--queue=VALUE - Specify yarn queuenameifneeded--bandwidth=VALUE - Specify bandwidth per map/reduceinMBifneeded--s3Key=VALUE - Specify your s3 key--s3Secret=VALUE - Specify your s3 Sercet--s3EndPoint=VALUE - Specify your ...
--bandwidth:指定带宽的大小,单位为MB。 示例如下。 hadoop jar jindo-distcp-<version>.jar--src/data/incoming/hourly_table--destoss://yang-hhht/hourly_table--ossKeyyourkey--ossSecretyoursecret--ossEndPointoss-cn-hangzhou.aliyuncs.com--queueyarnqueue--bandwidth6--parallelism10 ...