Hadoop数据库数据导入导出可通过以下工具和方法实现:
sqoop import \
--connect jdbc:mysql://host:port/db \
--username user --password pass \
--table source_table \
--target-dir /hdfs/path \
[--split-by id] [--num-mappers 10] # 并行导入
支持增量导入(--incremental append)。sqoop export \
--connect jdbc:mysql://host:port/db \
--username user --password pass \
--table target_table \
--export-dir /hdfs/path \
--input-fields-terminated-by ','
INSERT OVERWRITE LOCAL DIRECTORY '/local/path'
ROW FORMAT DELIMITED FIELDS TERMINATED BY ','
SELECT * FROM table_name;
或导出到HDFS:EXPORT TABLE table_name TO '/hdfs/path';
hadoop fs -put /local/file /hdfs/path
hadoop fs -get /hdfs/file /local/path
hadoop fs -getmerge /hdfs/dir /local/merged_file
注意:
免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。