温馨提示×

如何查Debian Hadoop错

小樊
50
2026-09-20 19:38:25
栏目: 智能运维

在 Debian 上排查 Hadoop 错误,一般可以按下面几个层次来做。


一、先确认 Hadoop 安装方式

Debian 上 Hadoop 常见两种:

  • 手动安装(官网 tar 包)
  • APT 安装(较少,社区包)

不同方式日志路径略有区别,但核心思路一样。


二、看 Hadoop 日志(最重要)

Hadoop 日志默认在:

$HADOOP_HOME/logs/

或

/var/log/hadoop/

常见日志:

  • hadoop-<user>-<进程>.log
    例如:
    • hadoop-root-namenode-debian.log
    • hadoop-root-datanode-debian.log
    • hadoop-root-resourcemanager.log
  • hadoop-<user>-<进程>.out
    JVM 崩溃、启动失败常看这个

查看错误:

tail -n 200 $HADOOP_HOME/logs/hadoop-*-namenode-*.log

三、按角色看常见错误

1. NameNode 起不来

常见原因:

  • dfs.namenode.name.dir 权限不对
  • 没格式化
  • 端口被占用(50070 / 8020)

检查:

jps
netstat -tunlp | grep 8020

第一次必须格式化:

hdfs namenode -format

2. DataNode 不注册

常见原因:

  • clusterID 不一致
  • 多次格式化 NameNode

解决:

  • 删 DataNode 数据目录后重启
  • 或同步 clusterID

3. ResourceManager / NodeManager 错

看:

$HADOOP_HOME/logs/yarn-*.log

常见:

  • JAVA_HOME 没设
  • /etc/hosts 配置错误

四、系统层面排查(Debian 特有)

1. Java 环境

java -version
echo $JAVA_HOME

Debian 常用:

apt install openjdk-11-jdk

hadoop-env.sh 里必须写:

export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64

2. 防火墙 / hosts

cat /etc/hosts
hostname -f

建议:

127.0.0.1   localhost
192.168.1.10 debian

3. systemd(若用服务)

systemctl status hadoop-namenode
journalctl -u hadoop-namenode

五、快速定位流程(推荐)

  1. jps 看哪些进程没了
  2. 对应日志 tail -n 100
  3. 搜索 ERROR / Exception
  4. 检查:
    • Java
    • 目录权限
    • 配置文件
    • 主机名解析

如果你愿意,可以把具体报错日志或**jps 输出**贴出来,我可以直接帮你定位是哪一类问题。

0 踩