Debian Hadoop 监控如何实现

Debian Hadoop 监控实现指南

一 监控目标与总体架构

• 监控范围建议覆盖：
  • 组件存活与可用性：NameNode、DataNode、ResourceManager、NodeManager、JobHistoryServer、ZooKeeper（如启用 HA）。
  • 资源与作业：节点 CPU/内存/磁盘 IO/网络、HDFS 容量与健康状况、YARN 队列与应用状态。
  • 日志与告警：作业与系统日志的集中化、可检索与阈值告警。
• 推荐架构：
  • 采集层：Hadoop 组件 JMX + 系统指标（如 node_exporter）+ 日志（如 Filebeat）。
  • 存储与告警：时序库 Prometheus，告警规则 Alertmanager。
  • 可视化与运维：Grafana 仪表盘；若采用发行版管理，可叠加 Ambari/Cloudera Manager 做统一管控与告警。

二 快速落地步骤

• 步骤 1 启用并验证 Hadoop 原生 Web UI
  • 访问 NameNode UI：http://:9870（Hadoop 3.x），查看 HDFS 容量、DataNode 列表、安全模式 等。
  • 访问 ResourceManager UI：http://:8088，查看 集群应用、队列资源、节点列表 等。
  • 访问 JobHistory UI：http://:19888，查看历史作业与任务详情。
  • 命令行快速体检：
    • 进程存活：jps
    • HDFS 状态：hdfs dfsadmin -report
    • YARN 节点与应用：yarn node -list、yarn application -list
• 步骤 2 打通 JMX 指标采集
  • 在各组件（NN、DN、RM、NM 等）启用 JMX（配置 JMX 端口与认证），通过 JMX Exporter 暴露为 /metrics，供 Prometheus 拉取。
  • 示例 JMX URL 形态：service:jmx:rmi:///jndi/rmi://<host>:<port>/jmxrmi（具体端口以实际配置为准）。
• 步骤 3 部署系统与应用指标采集
  • 节点层：部署 node_exporter 采集 CPU、内存、磁盘、网络等系统指标。
  • 日志层：部署 Filebeat 采集 $HADOOP_HOME/logs/*.log，输出至 ELK（Elasticsearch/Logstash/Kibana） 或 Loki，用于检索与可视化。
• 步骤 4 配置 Prometheus 与 Alertmanager
  • Prometheus 配置抓取 JMX Exporter 与 node_exporter 的 /metrics 端点；按业务设定采集间隔（如 15s）。
  • Alertmanager 配置邮件/企业微信/钉钉等通知渠道，针对关键指标设置阈值告警（如 HDFS 容量阈值、YARN 应用失败、节点宕机）。
• 步骤 5 可视化与告警验证
  • Grafana 导入 Hadoop 常用仪表盘（HDFS、YARN、节点资源），验证图表与告警联动。

三 关键指标与告警示例

四 日志管理与可视化

• 启用 YARN 日志聚合：在 yarn-site.xml 中设置
  • yarn.log-aggregation-enable=true
  • yarn.log-aggregation.retain-seconds=172800（示例保留 2 天）
  • yarn.nodemanager.remote-app-log-dir 与 yarn.nodemanager.remote-app-log-dir-suffix 指定 HDFS 存储路径与后缀。
• 日志查看与分析
  • 命令行：yarn logs -applicationId <app_id> 查看聚合日志；hadoop fs -ls <log-path> 浏览 HDFS 日志。
  • 系统日志：journalctl -u hadoop-<service>.service 查看服务单元日志。
  • 可视化：将日志送入 ELK 或 Loki，结合 Kibana/Grafana 做检索、图表与链路分析。

五 工具选型与对比

• 原生 Web UI（NameNode 9870、ResourceManager 8088、JobHistory 19888）
  • 优点：开箱即用、定位问题快；缺点：无历史趋势、无统一告警。
• Ambari / Cloudera Manager
  • 优点：集中安装、配置、监控与告警，适合企业级；缺点：较重、对发行版有依赖。
• Prometheus + Grafana
  • 优点：云原生、灵活扩展、强大可视化与告警；缺点：需自建采集与维护。
• Ganglia / Nagios / Zabbix
  • 优点：传统监控生态成熟、告警灵活；缺点：Hadoop 指标深度与生态集成不如 Ambari/CM 或 Prometheus。