如何优化linux hadoop

优化 Linux 上的 Hadoop 是一个系统性工程，通常分为操作系统层、Hadoop 配置层、硬件与架构层、以及运维调优四个方面。下面给你一个相对完整、可落地的优化思路。

一、Linux 操作系统层优化

1. 文件系统与挂载

• 推荐使用 XFS / ext4
• 挂载参数优化（以 ext4 为例）：

mount -o noatime,nodiratime,data=writeback,barrier=0 /dev/sdb /data

• 关闭 atime 更新，减少磁盘 IO

2. 磁盘 IO 调度

• HDD：使用 deadline 或 mq-deadline
• SSD：使用 none 或 noop

echo deadline > /sys/block/sda/queue/scheduler

3. 内存与 Swap

• 尽量禁用 Swap

sysctl vm.swappiness=1

• 或完全关闭 swap（生产推荐）

4. 文件描述符与进程数

ulimit -n 65536
ulimit -u 65536

在 /etc/security/limits.conf 中配置：

* soft nofile 65536
* hard nofile 65536
* soft nproc 65536
* hard nproc 65536

5. 网络优化

sysctl -w net.core.somaxconn=4096
sysctl -w net.ipv4.tcp_tw_reuse=1
sysctl -w net.core.netdev_max_backlog=5000

二、HDFS 优化

1. NameNode 优化

• 增大堆内存（根据元数据规模）：

<property>
  <name>dfs.namenode.heapsize</name>
  <value>8g</value>
</property>

• 开启 dfs.namenode.avoid.read.stale.datanode

2. DataNode 优化

• 增加处理线程：

dfs.datanode.handler.count=20

• 多磁盘均衡：

dfs.datanode.data.dir=/data1/dfs,/data2/dfs,/data3/dfs

3. 块大小与副本

• 大文件场景：

dfs.blocksize=256m

• 副本数：

dfs.replication=3

（冷数据可降为 2）

三、YARN / MapReduce 优化

1. 资源分配

yarn.nodemanager.resource.memory-mb=64g
yarn.scheduler.maximum-allocation-mb=32g

2. Container 设置

yarn.scheduler.minimum-allocation-mb=1g
yarn.scheduler.maximum-allocation-mb=16g

3. MapReduce 参数

mapreduce.map.memory.mb=4g
mapreduce.reduce.memory.mb=8g
mapreduce.task.io.sort.mb=512

4. 开启 JVM 重用（小任务）

mapreduce.job.jvm.numtasks=-1

四、性能调优建议

1. 数据本地化

• 保证计算靠近数据
• 避免跨机架 shuffle

2. 小文件问题

• 使用 HAR / SequenceFile / ORC / Parquet
• 或 HDFS Federation

3. 压缩

• Map 输出压缩：

mapreduce.map.output.compress=true
mapreduce.map.output.compress.codec=org.apache.hadoop.io.compress.SnappyCodec

五、监控与运维

• 使用：
  • Prometheus + Grafana
  • Hadoop Web UI
  • JMX Exporter
• 关注指标：
  • GC 时间
  • Container 失败率
  • Disk Util
  • Network IO

六、典型优化顺序（建议）

1. Linux 基础优化
2. HDFS 稳定性和 IO 优化
3. YARN 资源合理分配
4. 应用层（MR / Spark）调参
5. 监控 + 持续调优

如果你愿意，可以告诉我：

• Hadoop 版本（2.x / 3.x）
• 集群规模（节点数、磁盘、内存）
• 主要用途（离线 / 实时 / 混合）

我可以直接给你一套针对你集群的优化配置模板。