hdfs在centos如何调优

CentOS 上 HDFS 调优实战指南

一 系统层优化

• 文件句柄与进程限制
  • 提升单进程可打开文件数，避免 “Too many open files”：
    • 临时：ulimit -n 65535
    • 永久：在 /etc/security/limits.conf 增加
      • • soft nofile 65535
      • • hard nofile 65535
    • 在 /etc/pam.d/login 增加：session required pam_limits.so
• TCP 网络参数
  • 编辑 /etc/sysctl.conf，提高连接复用与队列长度：
    • net.ipv4.tcp_tw_reuse = 1
    • net.core.somaxconn = 65535
    • net.ipv4.ip_local_port_range = 1024 65535
  • 应用：sysctl -p
• 磁盘与文件系统
  • 为 HDFS 挂载点添加 noatime,nodiratime（减少访问时间更新开销）
  • 提升顺序读预读：/sys/block/sdX/queue/read_ahead_kb（按设备调整）
  • I/O 调度器：SSD 优先使用 noop 或 deadline，HDD 可用 mq-deadline/cfq（视内核版本与设备而定）
• 内存与透明大页
  • 合理设置 HADOOP_HEAPSIZE / YARN_HEAPSIZE（在 hadoop-env.sh），避免频繁 GC
  • 结合负载评估是否启用 HugePages（大页内存），可降低页分配开销，但需严格测试与评估

二 HDFS 配置优化

• 核心参数建议（按常见工作负载起步，后续压测微调）
  • 块大小 dfs.block.size：大文件/顺序读建议 256M–512M；小随机读 64M–128M；默认 128M
  • 副本数 dfs.replication：关键数据 3；非关键可 2；极高可用可 4
  • 并发处理：dfs.namenode.handler.count 20–50；dfs.datanode.handler.count 30–100
  • 短路读：dfs.client.read.shortcircuit true；并配置 dfs.domain.socket.path（如 /var/run/hadoop-hdfs/dn._PORT）
  • 目录多盘：dfs.datanode.data.dir 配置多目录（如 /data1/dn,/data2/dn）以打散 I/O
  • 回收站：fs.trash.interval 60（分钟）；fs.trash.checkpoint.interval 10
• 示例片段（hdfs-site.xml）
  • dfs.block.size268435456
  • dfs.replication3
  • dfs.namenode.handler.count40
  • dfs.datanode.handler.count60
  • dfs.client.read.shortcircuittrue
  • dfs.domain.socket.path/var/run/hadoop-hdfs/dn._PORT
  • dfs.datanode.data.dir/data1/dn,/data2/dn
  • fs.trash.interval60
  • fs.trash.checkpoint.interval10
• NameNode 高可用与多目录
  • dfs.namenode.name.dir 配置多目录（多磁盘/多路径）提升可靠性与吞吐

三 硬件与架构优化

• 存储：NameNode 元数据与热点数据优先 SSD；DataNode 分层存储（热数据 SSD、冷数据 HDD）
• 网络：优先 10Gbps+ 网卡与交换机，降低副本复制与分布式读写的网络瓶颈
• 内存：为 NameNode 预留充足堆内存以缓存元数据；DataNode 视并发与缓存策略增加内存
• 计算与数据布局：提升 数据本地性（计算尽量调度到数据所在节点），减少跨节点网络传输

四 数据布局与作业侧优化

• 避免小文件：小文件会显著膨胀 NameNode 内存占用，建议合并
  • 使用 HAR（Hadoop Archive）：hadoop archive -archiveName myhar.har -p /input/dir /output/dir
  • 或使用 SequenceFile/CombineFileInputFormat 在写入侧合并
• 压缩：在 MapReduce 侧启用压缩，降低 I/O 与网络
  • mapreduce.map.output.compress true
  • mapreduce.map.output.compress.codec org.apache.hadoop.io.compress.SnappyCodec
• 数据布局：按业务键进行 分区/分桶，提升扫描与聚合效率

五 监控 压测与变更流程

• 基准测试
  • 写入：hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-*.jar TestDFSIO -write -nrFiles 10 -fileSize 100MB
  • 读取：TestDFSIO -read -nrFiles 10 -fileSize 100MB
  • 测试后清理：TestDFSIO -clean
• 监控与验证
  • 监控：NameNode/DataNode CPU、内存、磁盘 I/O、网络、块报告与健康状态
  • 验证：对比吞吐、延迟、复制队列、GC 次数与耗时，确认优化收益
• 变更流程
  • 先在 测试环境 验证，再 滚动升级 生产节点，保持服务可用
  • 每次只变更少量参数，配合监控与压测结果迭代
• 安全提示
  • 修改系统参数与 HDFS 配置前务必备份；变更后逐步回滚能力要到位，避免业务中断