Hive中如何进行数据导入导出

Hive数据导入导出常用方法

一 数据导入

• LOAD DATA：将文件加载进表或分区，适合批量装载。语法要点：

  • 本地文件：LOAD DATA LOCAL INPATH ‘path’ [OVERWRITE] INTO TABLE tbl [PARTITION (…)]
  • HDFS文件：LOAD DATA INPATH ‘hdfs_path’ [OVERWRITE] INTO TABLE tbl [PARTITION (…)]
  • 示例：
    • 本地：LOAD DATA LOCAL INPATH ‘/opt/data/student.txt’ OVERWRITE INTO TABLE student;
    • HDFS：LOAD DATA INPATH ‘/data/student.txt’ INTO TABLE student PARTITION (dt=‘2025-11-15’);
  • 说明：有 LOCAL 表示从本地文件系统读取；无 LOCAL 表示从 HDFS 移动文件到表目录；OVERWRITE 为覆盖，不加为追加；加载 HDFS 源文件时本质是“移动”而非复制。

• INSERT INTO/OVERWRITE：通过查询结果装载数据，支持分区与多表插入。

  • 单表：INSERT INTO TABLE t SELECT …; 或 INSERT OVERWRITE TABLE t SELECT …;
  • 分区：INSERT OVERWRITE TABLE t PARTITION (dt=‘2025-11-15’) SELECT …;
  • 多插入（一次扫描多目标）：
    • FROM src INSERT OVERWRITE TABLE t1 SELECT … INSERT INTO TABLE t2 SELECT …;
  • 说明：导出到本地/目录时通常使用 OVERWRITE；INTO 为追加。

• CREATE TABLE AS SELECT（CTAS）：建表并一次性导入查询结果。

  • 示例：CREATE TABLE student3 AS SELECT id, name FROM student;
  • 说明：CTAS 会复制数据并生成目标表的元数据与数据文件。

• CREATE TABLE … LOCATION：建表时直接指向 HDFS 已有数据目录（外部数据接入）。

  • 示例：
    • CREATE TABLE t (id INT, name STRING) ROW FORMAT DELIMITED FIELDS TERMINATED BY ‘\t’ LOCATION ‘/data/t/’;
  • 说明：适合已有落地数据的快速接入；注意表结构与分隔符需与数据一致。

• IMPORT：从 EXPORT 导出的 HDFS 路径恢复表或分区数据。

  • 示例：IMPORT TABLE t FROM ‘/export/tbl_path’;
  • 说明：通常与 EXPORT 成对使用，用于跨集群/环境迁移或备份恢复。

二 数据导出

• INSERT OVERWRITE DIRECTORY：将查询结果导出到本地或 HDFS 目录，可指定分隔符等格式。

  • 本地：INSERT OVERWRITE LOCAL DIRECTORY ‘/opt/out’ SELECT * FROM t;
  • HDFS：INSERT OVERWRITE DIRECTORY ‘/out’ SELECT * FROM t;
  • 指定格式：
    • INSERT OVERWRITE LOCAL DIRECTORY ‘/opt/out’ ROW FORMAT DELIMITED FIELDS TERMINATED BY ‘\t’ SELECT * FROM t;
  • 说明：导出到目录会产生多个 part 文件；如需单文件可在导出后用 cat 合并，例如：cat /opt/out/* >> /opt/out/merged.txt。

• Hadoop 命令导出：在 Hive 会话中用 dfs -get 拉取 HDFS 文件到本地。

  • 示例：dfs -get /user/hive/warehouse/db/t/000000_0 /opt/out/t.txt;
  • 说明：适合直接取某个数据文件，简单高效。

• Hive Shell 重定向：用 hive -e/-f 执行查询并写入本地文件。

  • 示例：hive -e “SELECT * FROM db.t” > /opt/out/t.txt
  • 说明：便捷快速；注意日志可能混入输出，生产建议用 INSERT OVERWRITE 或加日志重定向控制。

• EXPORT / IMPORT：将表（含元数据与数据）以 HDFS 目录形式导出/导入，便于迁移与备份。

  • 导出：EXPORT TABLE t TO ‘/export/tbl_path’;
  • 导入：IMPORT TABLE t FROM ‘/export/tbl_path’;
  • 说明：EXPORT 在目标路径生成数据与元数据文件；IMPORT 将数据恢复到 Hive 表（可指定新表名/分区）。

• Sqoop 导出到关系型数据库：将 Hive 表/查询结果导出到 MySQL/PostgreSQL 等。

  • 示例：
    • sqoop export
      –connect jdbc:mysql://host:3306/db
      –username user --password pass
      –table mysql_tbl
      –export-dir /user/hive/warehouse/db/t
      –input-fields-terminated-by ‘\t’
  • 说明：需保证字段顺序、类型与目标表兼容；适合数据回流业务库。

三 常见注意事项

• 分隔符与数据一致性：文本表需在建表时声明正确的 ROW FORMAT（如 FIELDS TERMINATED BY ‘\t’），否则查询会出现大量 NULL 或错位。
• LOCAL 与 HDFS 的差别：LOAD 时有无 LOCAL 决定了源是本地还是 HDFS；从 HDFS 加载是“移动”源文件，原路径文件会消失。
• 导出到本地目录会产生多个 part 文件：如需单文件，使用系统命令合并（如 cat），并在合并前确认分隔符，避免后续解析失败。
• INSERT 导出不支持 INTO：导出到目录/文件请使用 INSERT OVERWRITE；INTO 仅用于追加数据到表。
• 外部表与 TRUNCATE：TRUNCATE 只能清空内部表数据，对外部表无效；清空前请确认表类型与分区策略。