HDFS数据迁移是一个复杂的过程，需要考虑多个因素以确保数据的一致性和完整性。以下是HDFS数据迁移的基本操作步骤和注意事项：
评估迁移数据量：
使用 hdfs dfs -du -h / 命令查看各目录总数据量，按业务划分，统计各业务数据总量。
制定迁移节奏：
由于数据量大，带宽有限，建议在文件变化之前按业务、分目录、分批迁移。
选择迁移工具：
使用Hadoop自带数据迁移工具 distcp，只需简单的命令即可完成数据迁移。
执行迁移：
distcp 进行初始全量拷贝。distcp 的增量拷贝功能来同步变化的数据。数据校验：
在迁移完成后，对比源集群和目标集群的数据量，确保数据一致性。
权限和配置更新：
确保目标集群的HDFS目录权限正确，更新客户端配置以指向新的HDFS路径。
distcp 的 -update 参数来确保数据的一致性，它会在目标集群上更新已存在的文件。-p 参数保留文件的权限信息，确保迁移后的文件权限与源集群一致。在进行数据迁移时，还需要考虑到迁移过程中的数据一致性和完整性。HDFS通过写操作的幂等性、数据块的复制、数据校验、数据一致性检查以及客户端确认机制来确保数据在迁移过程中的可靠性。
综上所述，HDFS数据迁移需要仔细规划和执行，以确保数据的安全性和完整性。
