debian怎样调hadoop

你问的“debian 怎样调 Hadoop”，我理解成 在 Debian 系统上如何安装、配置和调试（调）Hadoop。下面给你一个实用向的 Debian + Hadoop 指南，从安装到常见调优都覆盖。

一、准备工作（Debian）

1. 系统要求

Debian 11 / 12（推荐）
已配置静态 IP（单机或集群都建议）
Java 已安装（Hadoop 依赖 JDK）

java -version

如果没有：

sudo apt update
sudo apt install openjdk-11-jdk -y

设置 JAVA_HOME：

echo 'export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64' >> ~/.bashrc
source ~/.bashrc

二、安装 Hadoop（单机 / 伪分布式）

1. 创建 hadoop 用户（可选但推荐）

sudo adduser hadoop
sudo su - hadoop

2. 下载 Hadoop

wget https://archive.apache.org/dist/hadoop/common/hadoop-3.3.6/hadoop-3.3.6.tar.gz
tar -xzf hadoop-3.3.6.tar.gz
mv hadoop-3.3.6 ~/hadoop

3. 配置环境变量

nano ~/.bashrc

添加：

export HADOOP_HOME=~/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source ~/.bashrc

三、Hadoop 基本配置（伪分布式）

1. core-site.xml

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>
</configuration>

2. hdfs-site.xml

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
</configuration>

3. mapred-site.xml

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>

4. yarn-site.xml

<configuration>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
</configuration>

四、启动 Hadoop

1. 格式化 HDFS

hdfs namenode -format

2. 启动

start-dfs.sh
start-yarn.sh

3. 检查

jps

应看到：

NameNode
DataNode
ResourceManager
NodeManager

Web 页面：

HDFS: http://localhost:9870
YARN: http://localhost:8088

五、Debian 上“调”Hadoop（调优 & 排错）

常见调法

1. 内存调整（yarn-site.xml）

<property>
  <name>yarn.nodemanager.resource.memory-mb</name>
  <value>4096</value>
</property>
<property>
  <name>yarn.scheduler.maximum-allocation-mb</name>
  <value>4096</value>
</property>

2. JVM 堆内存（hadoop-env.sh）

export HADOOP_HEAPSIZE=1024

3. 日志排错

tail -f $HADOOP_HOME/logs/*.log

六、常见问题（Debian 特有）

1. SSH 未配置

ssh-keygen -t rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

2. 端口被占用

netstat -tunlp | grep 9000

3. 权限问题

chown -R hadoop:hadoop ~/hadoop

七、如果你是指“性能调优”

可以告诉我：

单机还是集群？
Hadoop 版本？
跑什么任务（MapReduce / Spark / Hive）？

我可以给你 针对性的参数调优方案。

如果你说的“调 hadoop”是 调试代码 / 排错 / 集群搭建 / 性能优化 中某一种，直接告诉我，我给你更精准的方案。