温馨提示×

centos配置hdfs注意什么

小樊
45
2026-09-24 16:41:28
栏目: 智能运维

在 CentOS 上配置 HDFS(Hadoop 分布式文件系统)时,有几个关键注意点,涵盖系统环境、用户权限、网络、配置和常见问题。下面按实战角度总结:


一、系统环境准备

1. Java 环境

  • HDFS 依赖 JVM
  • 推荐:
    • JDK 8(Hadoop 2.x / 3.x 主流)
    • 或 JDK 11(Hadoop 3.3+)
  • 配置:
export JAVA_HOME=/usr/java/jdk1.8.0_xxx

并写入 ~/.bashrc 或 /etc/profile

✅ 注意:CentOS 自带 openjdk 可能不完整,建议用 Oracle JDK 或官方 OpenJDK


2. 主机名与 hosts 映射

  • 不要用 localhost 作为集群节点
  • 修改 /etc/hosts:
192.168.1.10 namenode
192.168.1.11 datanode1
192.168.1.12 datanode2
  • 主机名:
hostnamectl set-hostname namenode

✅ 注意:NameNode 和 DataNode 必须能互相解析主机名


3. 防火墙与 SELinux

防火墙

systemctl stop firewalld
systemctl disable firewalld

或开放端口(如 9000 / 8020 / 50070)

SELinux

setenforce 0
sed -i 's/SELINUX=enforcing/SELINUX=disabled/' /etc/selinux/config

⚠️ 生产环境不建议直接关,应配置安全策略


二、用户与目录权限

1. 专用用户

  • 不建议用 root 运行 Hadoop
useradd hadoop
passwd hadoop

2. 数据目录权限

常见目录:

/opt/hadoop
/data/hdfs/name
/data/hdfs/data
chown -R hadoop:hadoop /opt/hadoop /data/hdfs

✅ 注意:NameNode 和 DataNode 目录必须不同


三、Hadoop 核心配置(重点)

1. core-site.xml

<property>
  <name>fs.defaultFS</name>
  <value>hdfs://namenode:9000</value>
</property>

2. hdfs-site.xml

<property>
  <name>dfs.replication</name>
  <value>3</value>
</property>

<property>
  <name>dfs.namenode.name.dir</name>
  <value>/data/hdfs/name</value>
</property>

<property>
  <name>dfs.datanode.data.dir</name>
  <value>/data/hdfs/data</value>
</property>

⚠️ 注意:

  • dfs.replication ≤ DataNode 数量
  • NameNode 目录不能和 DataNode 混用

四、SSH 免密登录(必做)

NameNode 要能无密码登录所有 DataNode:

ssh-keygen -t rsa
ssh-copy-id datanode1
ssh-copy-id datanode2

✅ 注意:

  • hadoop 用户执行
  • 测试:ssh datanode1 不输密码

五、格式化与启动

1. 格式化 NameNode(只做一次)

hdfs namenode -format

⚠️ 重复格式化会清空元数据!

2. 启动

start-dfs.sh

3. 验证

jps

应看到:

  • NameNode
  • DataNode
  • SecondaryNameNode(如有)

Web UI:

http://namenode:50070

六、常见坑(CentOS 特有)

1. 时钟不同步

  • HDFS 对时间敏感
yum install -y ntp
systemctl enable ntpd

2. 文件描述符限制

ulimit -n 65536

并在 /etc/security/limits.conf 配置

3. 磁盘空间

  • DataNode 磁盘满会导致写失败
  • 建议预留 10% 空间

七、生产建议

  • 使用 Hadoop 3.x(支持 Erasure Coding)
  • NameNode 单独机器
  • 开启 HA(JournalNode + ZKFC)
  • 日志统一收集(ELK / Prometheus)

如果你愿意,我可以:

  • 给你一份 CentOS 7 + Hadoop 3 完整配置示例
  • 或帮你 排查当前 HDFS 启动失败问题

直接说你的场景即可。

0 踩