hadoop数据库怎么搭建

首先需要澄清一个常见误区：

Hadoop 本身不是数据库，而是一个分布式存储与计算框架。
通常大家说的“Hadoop 数据库”，一般指的是基于 Hadoop 生态的数据仓库 / 数据库系统，例如：

• HDFS + Hive（最常用，类 SQL 数据仓库）
• HBase（真正的 NoSQL 数据库，跑在 Hadoop 上）
• Spark SQL / Impala / Presto（查询引擎）

下面我按最典型场景给你讲：搭建 Hadoop + Hive（类数据库）环境。

一、基本架构说明

HDFS（存储）
  ↑
YARN（资源调度）
  ↑
Hive / Spark（SQL 查询）

二、环境准备

1. 机器要求

• Linux（CentOS / Ubuntu 推荐）
• JDK 1.8
• SSH 免密
• 多台机器（伪分布也可 1 台）

2. 安装 JDK

yum install java-1.8.0-openjdk-devel
java -version

三、搭建 Hadoop（伪分布示例）

1. 下载并解压

wget https://archive.apache.org/dist/hadoop/common/hadoop-3.3.6/hadoop-3.3.6.tar.gz
tar -xzf hadoop-3.3.6.tar.gz
mv hadoop-3.3.6 /opt/hadoop

2. 配置环境变量

vi ~/.bashrc

export HADOOP_HOME=/opt/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source ~/.bashrc

3. 修改 Hadoop 配置

core-site.xml

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>
</configuration>

hdfs-site.xml

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
</configuration>

mapred-site.xml

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>

yarn-site.xml

<configuration>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
</configuration>

4. 格式化并启动

hdfs namenode -format
start-dfs.sh
start-yarn.sh

浏览器访问：

http://localhost:9870

四、搭建 Hive（Hadoop 上的数据库）

1. 安装 MySQL（元数据库）

yum install mariadb-server
systemctl start mariadb

创建数据库：

CREATE DATABASE hive;

2. 安装 Hive

wget https://archive.apache.org/dist/hive/hive-3.1.3/apache-hive-3.1.3-bin.tar.gz
tar -xzf apache-hive-3.1.3-bin.tar.gz
mv apache-hive-3.1.3-bin /opt/hive

3. 配置 Hive

hive-site.xml

<configuration>
  <property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://localhost:3306/hive</value>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>root</value>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>password</value>
  </property>
</configuration>

初始化：

schematool -dbType mysql -initSchema

4. 启动 Hive

hive

尝试建表：

CREATE TABLE user (
  id INT,
  name STRING
);

五、如果你想要“真正数据库”

六、总结

✅ Hadoop ≠ 数据库
✅ 常用组合：HDFS + Hive
✅ 企业级一般用：CDH / HDP / 云 EMR

如果你愿意，我可以：

• 给你 生产集群搭建方案
• 或 Docker 一键 Hadoop
• 或 HBase 实战教程

你打算用 Hadoop 做什么场景？