在 Debian 上排查 Hadoop 错误,一般可以按下面几个层次来做。
Debian 上 Hadoop 常见两种:
不同方式日志路径略有区别,但核心思路一样。
Hadoop 日志默认在:
$HADOOP_HOME/logs/
或
/var/log/hadoop/
常见日志:
hadoop-<user>-<进程>.loghadoop-root-namenode-debian.loghadoop-root-datanode-debian.loghadoop-root-resourcemanager.loghadoop-<user>-<进程>.out查看错误:
tail -n 200 $HADOOP_HOME/logs/hadoop-*-namenode-*.log
常见原因:
dfs.namenode.name.dir 权限不对检查:
jps
netstat -tunlp | grep 8020
第一次必须格式化:
hdfs namenode -format
常见原因:
clusterID 不一致解决:
clusterID看:
$HADOOP_HOME/logs/yarn-*.log
常见:
JAVA_HOME 没设/etc/hosts 配置错误java -version
echo $JAVA_HOME
Debian 常用:
apt install openjdk-11-jdk
hadoop-env.sh 里必须写:
export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64
cat /etc/hosts
hostname -f
建议:
127.0.0.1 localhost
192.168.1.10 debian
systemctl status hadoop-namenode
journalctl -u hadoop-namenode
jps 看哪些进程没了tail -n 100ERROR / Exception如果你愿意,可以把具体报错日志或**jps 输出**贴出来,我可以直接帮你定位是哪一类问题。