CentOS HDFS数据迁移策略

CentOS 环境下 HDFS 数据迁移策略

一 策略总览与适用场景

• 跨集群迁移优先选用 DistCp，支持全量与增量、带宽控制、并发度调优、原子提交等，适合大规模生产环境。
• 同版本直连拷贝：hadoop distcp hdfs://nn1:8020/src hdfs://nn2:8020/dst；不同版本可用只读 HFTP：hadoop distcp hftp://nn1:50070/src hdfs://nn2:8020/dst（DistCp 运行在目标集群）。
• 版本升级/降级或跨版本迁移：优先用 HFTP 或按官方兼容矩阵选择协议；必要时在目标集群配置安全策略以允许跨版本访问。
• 到对象存储（如 COS）的迁移/归档：同样使用 DistCp 指向对象存储的 HDFS 兼容接口。
• 小数据量或临时搬运：用 hadoop fs -put/-get/-copyFromLocal/-copyToLocal 在本地与 HDFS 之间搬运。
• 仅做备份/归档：结合 HDFS 快照、HDFS Balancer、MOVER 与 存储策略（HOT/WARM/COLD/ARCHIVE/SSD） 降低容量成本并提升恢复效率。

二 标准流程与关键命令

• 前期评估与准备
  • 评估数据规模：hdfs dfs -du -h /path；按业务划分目录与优先级。
  • 选择低峰时段，评估并预留带宽；必要时做小数据试跑（如 100GB/500GB/1TB）验证速率与问题。
  • 目录梳理：排除正在写入目录与回收站，如过滤 /user/*/.Trash。
• 全量迁移
  • 基础命令：hadoop distcp -m 200 -bandwidth 200 hdfs://src/ hdfs://dst/（示例并发 200、每 map 带宽 200 MB/s）。
  • 保持元数据：hadoop distcp -pbug hdfs://src/ hdfs://dst/（保留 replication/block-size/user/group/permission）。
• 增量迁移
  • 基于大小/时间的快速同步：hadoop distcp -update -delete -pbug hdfs://src/ hdfs://dst/（仅传差异；目标端多余文件可被删除）。
  • 基于快照的精准增量：hadoop distcp -diff <fromSnap> <toSnap> hdfs://src/ hdfs://dst/（大幅缩短对比时间）。
• 切换与回滚
  • 短暂停写后执行最终增量，切换业务到新路径；保留回滚窗口，必要时反向增量回切。
• 一致性校验
  • 计数与容量：hdfs dfs -count -q /path；抽样或全量 checksum 比对；核对目录结构与权限。

三 性能与稳定性优化

• 并发与带宽
  • 并发度 -m 与每 map 带宽 -bandwidth 共同决定吞吐；并发过高会抢占业务带宽与集群资源，建议结合 DN 数量与业务 SLA 逐步调优。
• 动态分发与列表构建
  • 使用 -strategy dynamic 让快 map 多干活，避免“长尾”；提升列表构建并发 -numListstatusThreads（如 100–200）。
• 直写与原子提交
  • -direct 直接写目标路径，减少临时目录与 rename 开销；-atomic 保证“全部成功或全部回滚”。
• 容错与校验
  • -i 忽略失败任务继续拷贝；网络/磁盘抖动时可临时使用 -skipcrccheck（谨慎，确保大小一致）。
• 版本兼容与安全
  • 跨版本优先 HFTP；若两集群启用 Kerberos，按需在目标集群配置安全参数或命令行选项以允许访问。

四 常见场景与命令模板

• 跨集群全量迁移（保持权限与副本）
  • hadoop distcp -pbug -m 300 -bandwidth 500 hdfs://nn1:8020/data hdfs://nn2:8020/data
• 跨集群增量迁移（最终一致性）
  • hadoop distcp -update -delete -pbug -m 200 hdfs://nn1:8020/data hdfs://nn2:8020/data
• 基于快照的极速增量（需提前创建快照）
  • 源端：hdfs dfsadmin -allowSnapshot /data && hdfs dfs -createSnapshot /data snapA
  • 变更后：hdfs dfs -createSnapshot /data snapB
  • 迁移：hadoop distcp -diff snapA snapB -pbug hdfs://nn1:8020/data hdfs://nn2:8020/data
• 迁移到对象存储（HDFS 兼容接口）
  • hadoop distcp -m 200 hdfs://nn1:8020/data cosn://bucket/data
• 小数据量本地与 HDFS 互传
  • 上传：hadoop fs -put local_file /hdfs/path；下载：hadoop fs -get /hdfs/path local_file

五 迁移前后配套工作与风险控制

• 元数据与周边组件
  • 迁移 Hive Metastore 表/分区 location 到新集群；调整 YARN 队列与容量；更新数据平台与直连 HDFS 路径；迁移 Ranger 权限策略。
• 存储策略与成本优化
  • 依据访问频率设置 HOT/WARM/COLD/ARCHIVE/SSD；启用 MOVER 按策略搬迁块；必要时用 Balancer 均衡。
• 安全与合规
  • 跨域/跨版本访问遵循 Kerberos 与网络策略；对敏感数据脱敏与最小化授权。
• 监控与回滚预案
  • 全程监控 DistCp 作业日志、吞吐、失败率与时延；保留回滚窗口与反向增量脚本；对关键目录做抽样 checksum 校验。