hadoop distcp 实现不同集群其间数据同步

hadoop distcp 实现不同集群之间数据同步

1.相同hadoop版本同步数据

hadoop distcp -skipcrccheck -update -m 20 hdfs://dchadoop002.dx:8020/user/dc/warehouse/test /user/dc/warehouse/test

2.不同hadoop版本同步数据

hadoop distcp -skipcrccheck -update -m 20 hftp://ns1/user/test /user/dc/test

参数:

-m 表示并发数

-skipcrccheck 跳过hdfs校验

-update 更新文件