温馨提示×

温馨提示×

您好,登录后才能下订单哦!

密码登录×
登录注册×
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》

hadoop数据库怎么导入数据

发布时间:2026-09-26 23:12:31 来源:亿速云 阅读:93 作者:小樊 栏目:数据库

首先需要澄清一个常见的概念:Hadoop 本身不是数据库,而是一个分布式存储与计算框架。通常所说的“Hadoop 数据库”可能指以下几种情况:

  • HDFS(Hadoop 分布式文件系统):存文件
  • Hive:基于 Hadoop 的数据仓库(像数据库一样用 SQL)
  • HBase:Hadoop 上的列式 NoSQL 数据库
  • Impala / Spark SQL:查询引擎

下面分别说明如何导入数据。


一、往 HDFS 导入数据(最基础)

1. 从本地上传文件

hdfs dfs -put /local/file.csv /user/hadoop/

2. 从 HDFS 下载(反向)

hdfs dfs -get /user/hadoop/file.csv /local/

二、往 Hive 导入数据(最常用)

方式 1:直接加载 HDFS 文件

LOAD DATA INPATH '/user/hadoop/file.csv'
INTO TABLE my_table;

方式 2:加载本地文件

LOAD DATA LOCAL INPATH '/local/file.csv'
INTO TABLE my_table;

方式 3:通过 INSERT 导入

INSERT INTO TABLE my_table
SELECT * FROM other_table;

方式 4:外部表(推荐)

CREATE EXTERNAL TABLE my_table (
  id INT,
  name STRING
)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','
LOCATION '/user/hadoop/data/';

三、往 HBase 导入数据

方式 1:HBase Shell

hbase shell
put 'table', 'row1', 'cf:col', 'value'

方式 2:Bulk Load(大批量)

hbase org.apache.hadoop.hbase.mapreduce.ImportTsv \
-Dimporttsv.columns=HBASE_ROW_KEY,cf:col \
table /hdfs/path/file.csv

四、使用 Sqoop 从关系型数据库导入(MySQL → Hadoop)

sqoop import \
--connect jdbc:mysql://localhost/db \
--username root \
--password 123456 \
--table user \
--hive-import

五、使用 Spark 导入数据

df = spark.read.csv("/path/file.csv")
df.write.saveAsTable("hive_table")

六、常见选择建议

场景 推荐方式
日志文件 HDFS + Hive 外部表
结构化业务数据 Sqoop → Hive
实时写入 HBase / Kafka
大数据分析 Spark

如果你能告诉我:

  • 用的是 Hive / HBase / 纯 HDFS
  • 数据来源(MySQL / CSV / 日志)
  • 数据量大小

我可以给你更精确的导入命令和示例。

向AI问一下细节

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

AI
助
手