在Linux环境下进行HDFS数据迁移可以通过以下步骤实现：
迁移前的准备
- 评估数据量：
- 使用命令
hdfs dfs -du -h / 查看各目录的总数据量，并按业务划分，统计各业务的数据总量。
- 制定迁移计划：
- 由于数据量大，带宽有限，建议在文件变化之前按业务、分目录、分批迁移。
- 选择迁移工具：
- 使用Hadoop自带的数据迁移工具
distcp，可以通过简单的命令完成数据迁移。
- 配置迁移参数：
- 在迁移过程中，需要考虑新老集群之间的最大带宽，以及在减少业务影响条件下最多可以使用多少带宽。
迁移步骤
- 扩容和配置修改：
- 扩容ZooKeeper和JournalNode到新集群。
- 修改HDFS配置文件（
hdfs-site.xml），添加新的JournalNode配置信息，并重启JournalNode和NameNode。
- 迁移NameNode主节点：
- 修改HA配置，添加新集群上的Standby节点。
- 拷贝老standby节点的
fsimage和editslog到新节点对应目录。
- 更新所有DataNode节点的配置，并观察它们是否能成功汇报至新增Standby节点。
- 迁移DataNode数据节点：
- 扩容新集群的DataNode节点。
- 使用
decommission命令将老集群的DataNode节点逐步下掉，数据会自动迁移到新机器上。
- RegionServer滚动重启：
- 在新机器上新增Hadoop客户端相关的HA配置。
- 修改扩容后ZooKeeper相关配置。
- 逐步启动新机器的RegionServer服务，观察服务是否正常稳定运行。
- 逐步停掉老机器的服务，并观察服务是否正常。
- 替换HBase Master节点：
- 替换HBase Master节点，确保周期性清理工作、负载均衡和元数据操作的正常进行。
迁移后的检查和校验
- 数据一致性校验：
- 使用
distcp 的 -update 参数确保数据的一致性，它会在目标集群上更新已存在的文件。
- 文件权限校验：
- 使用
-p 参数保留文件的权限信息，确保迁移后的文件权限与源集群一致。
- 功能验证：
- 验证所有服务是否正常运行，包括HDFS、HBase等，确保没有服务中断或数据丢失。
注意事项
- 在迁移过程中，确保新老集群之间的最大带宽限制。
- 处理可能发生的文件删除和新增数据的情况。
- 确保迁移后的数据一致性和文件权限与老集群保持一致。
通过上述步骤和注意事项，可以有效地进行HDFS数据迁移，同时确保数据的安全性和完整性。
