在Linux环境下，有多种方法可以实现HDFS的数据迁移。以下是两种常见的方法：使用NIFI和DataX。
使用NIFI实现数据迁移
- 前置条件：
- 一个MySQL数据库。
- 创建一个Linux用户和hdfs用户组（例如：hdfs）。
- 对NIFI安装目录授权（例如：
chown -R hdfs:hdfs /path/to/nifi），然后使用hdfs用户启动NIFI。
- NIFI流程：
- ListDatabaseTables：列出要迁移数据库中的所有表。
- GenerateTableFetch：生成查询SQL。
- ExtractText：将查询SQL放到属性中。
- ExecuteSQL：执行SQL，返回数据集（Avro格式）。
- ConvertAvroToORC：将Avro格式数据转为ORC格式。
- DeleteHDFS：删除HDFS上指定目录下的数据。
- PutHDFS：将ORC格式数据写入HDFS指定目录。
- ReplaceText：生成Hive/Impala建表语句。
- PutSQL：执行建表语句和刷新元数据。
使用DataX实现数据迁移
- 准备工作：
- 安装JDK（推荐1.8以上）和Python（2或3版本）。
- 安装Apache Maven 3.x。
- 安装DataX：
在Linux主机上安装DataX。具体步骤可以参考DataX的官方文档。
- 配置和运行DataX：
- 配置数据源：配置MySQL数据源。
- 配置目标：配置HDFS目标。
- 创建DataX作业：编写DataX作业文件，定义数据源和目标。
- 运行DataX作业：使用命令行或DataX提供的工具运行作业。
以上是两种在Linux环境下借助工具实现HDFS数据迁移的方法，具体使用哪种方法取决于你的具体需求和环境。
