HDFS数据迁移过程中需要注意的事项
迁移前需完成三项核心准备工作：数据量评估（使用hdfs dfs -du -h /命令查看各目录总数据量，按业务划分统计各业务数据规模，为迁移节奏规划提供依据）、目标集群检查（确认目标集群有足够存储空间、NameNode/DataNode等组件运行正常，避免迁移中途因资源不足中断）、配置信息记录（记录源集群与目标集群的NameNode地址、端口号、迁移源路径/目标路径，确保迁移时参数准确）。
Hadoop自带的DistCp工具是大规模数据迁移的首选，其基于MapReduce实现分布式复制，具备高容错性（任务失败可重试）和高效性（并行处理）。使用时需掌握关键参数：-m（设置Map任务最大数量，根据集群资源和带宽调整，默认20）、-bandwidth（限制单个Map任务的带宽，单位MB，避免占用过多网络资源影响线上业务）、-p（保留文件权限、所有权、时间戳等属性，确保迁移后文件属性与源集群一致）。
迁移过程可能消耗大量网络带宽，需提前与运维团队确认新老集群之间的最大可用带宽，并通过-bandwidth参数限制迁移带宽（如-bandwidth 50表示限制单个Map任务最大带宽为50MB/s）。建议选择老集群低负载时段（如凌晨2-6点）执行迁移，进一步降低对线上业务的影响。
为避免迁移过程中源集群数据发生变化（新增、删除、修改），需采取以下措施：分批迁移（按业务/目录顺序迁移，优先迁移静态数据）、增量同步（全量迁移完成后，使用-update参数同步新增或修改的文件，避免重复传输未变化数据）、一致性校验（迁移完成后，使用distcp -update再次同步，或通过校验脚本对比源集群与目标集群的文件数量、大小、CRC校验值，确保数据一致）。
迁移后需确保文件权限与源集群一致，使用-p参数可保留文件的**权限（rwx）、用户/组（owner/group）、时间戳（modification/access time）**等属性。若未指定-p参数，目标集群文件权限将默认为执行MapReduce任务的用户权限，需后续手动执行hdfs dfs -chown -R USER:GROUP /target/path修正。
迁移过程中可能遇到以下异常，需提前制定处理方案：文件新增/删除（若迁移期间源集群文件发生变化，新增文件会漏迁，删除文件会导致迁移失败，可通过-i参数忽略失败文件，后续手动处理新增/删除文件）、任务失败（若Map任务失败，需删除目标集群中的脏数据，重新执行迁移命令；若因网络中断导致失败，可恢复后继续迁移）、网络超时（确保目标集群的HDFS端口（默认50070/8020）开放，客户端有权限访问，必要时配置SSL/TLS加密传输）。
迁移完成后，需进行全面验证：数据完整性验证（对比源集群与目标集群的文件数量、大小，使用hdfs dfs -count /source/path和hdfs dfs -count /target/path命令统计，确保一致）、权限验证（检查目标集群文件权限是否符合要求，使用hdfs dfs -ls -h /target/path查看）、业务功能测试（将客户端配置指向新集群，运行测试用例验证HDFS读写、Hive查询、Spark计算等业务功能是否正常，确保迁移不影响线上业务）。
