debian怎么调hadoop参数

在 Debian 上“调 Hadoop 参数”通常分几种情况：改 Hadoop 自身配置参数、改 JVM / 系统参数、改 Linux 系统限制来适配 Hadoop。下面按实际运维场景给你一套清晰做法。

一、Hadoop 主要参数在哪改（核心）

Hadoop 参数主要在以下配置文件里（路径取决于安装方式）：

1. 常见配置文件位置

/etc/hadoop/
# 或
$HADOOP_HOME/etc/hadoop/

核心文件：

• core-site.xml —— 全局参数
• hdfs-site.xml —— HDFS 参数
• yarn-site.xml —— YARN 参数
• mapred-site.xml —— MapReduce 参数
• hadoop-env.sh —— JVM / 环境变量
• yarn-env.sh —— YARN JVM 参数

2. 修改示例（XML 参数）

例如调 HDFS 块大小：

<property>
  <name>dfs.blocksize</name>
  <value>134217728</value> <!-- 128MB -->
</property>

YARN 容器内存：

<property>
  <name>yarn.nodemanager.resource.memory-mb</name>
  <value>8192</value>
</property>

3. 使配置生效

# 停止服务
stop-dfs.sh
stop-yarn.sh

# 修改配置后启动
start-dfs.sh
start-yarn.sh

如果是 systemd（Debian 较新版本）：

systemctl restart hadoop-namenode
systemctl restart hadoop-datanode
systemctl restart hadoop-resourcemanager
systemctl restart hadoop-nodemanager

二、JVM 参数怎么调（很重要）

hadoop-env.sh

export HADOOP_HEAPSIZE=2048
export HADOOP_OPTS="-Xms1g -Xmx2g -XX:+UseG1GC"

yarn-env.sh

export YARN_RESOURCEMANAGER_HEAPSIZE=2048
export YARN_NODEMANAGER_HEAPSIZE=2048

改完重启 YARN。

三、Debian 系统层参数（容易忽略）

1. 文件描述符（Hadoop 很吃）

ulimit -n 65536

永久生效：

/etc/security/limits.conf

* soft nofile 65536
* hard nofile 65536

2. 禁用 swap（推荐）

swapoff -a

永久： 注释 /etc/fstab 中 swap 行

3. 内核参数

sysctl -w vm.swappiness=10
sysctl -w net.core.somaxconn=4096

写入：

/etc/sysctl.conf

四、常见调优场景速查

五、验证参数是否生效

hdfs getconf -confKey dfs.blocksize
yarn config -get yarn.nodemanager.resource.memory-mb

如果你能告诉我：

• Hadoop 版本（2.x / 3.x）
• 单节点还是集群
• 想解决什么问题（慢 / OOM / 跑不动）

我可以直接给你精准参数模板。