如何利用Chef进行服务器监控

利用 Chef 进行服务器监控的可落地方案

一 总体思路与架构

• 将监控纳入IaC：用 Chef 自动化部署监控代理、配置采集与告警通道，保证环境一致、可重复、可审计。
• 分层建设：
  • 基础设施层：用 Ohai 扩展系统指标，作为节点“标签/属性”供策略与可视化使用。
  • 配置合规层：用 Chef Data Collector 上报每次运行的元数据与资源变更，支撑审计与异常检测。
  • 指标与日志层：用 Prometheus/Grafana、ELK 等做时序与日志的可视化与告警。
  • 应用性能层：按需引入 New Relic 等 APM 能力。
• 闭环处置：在 Chef 中编排“检测—响应—恢复”动作（如磁盘阈值触发清理），实现自动化运维。

二 快速落地步骤

• 安装与周期执行
  • 在目标节点安装 chef-client，并在 /etc/chef/client.rb 中设置运行间隔与日志级别，例如：
    • interval 60（每 60 秒运行一次）
    • log_level :info
  • 生产建议以 systemd 托管 chef-client，确保持续运行与自动拉起。
• 采集系统指标
  • 方式 A：编写 Shell/Python 脚本采集 CPU/内存/磁盘/日志大小 等，用 Chef Recipe 定时执行并落盘或上报。
  • 方式 B：编写 Ohai 插件 扩展节点属性（如 cpu_usage），便于在配方与策略中复用。
• 上报与可视化
  • 指标侧：用 Chef 自动化部署 Prometheus Node Exporter 或 StatsD/collectd，在 Prometheus 配置抓取目标，在 Grafana 构建仪表板。
  • 日志侧：用 Chef 部署 Elasticsearch/Logstash/Kibana，将 /var/log/ 等日志集中化与检索分析。
• 告警与响应
  • 在 Prometheus 配置告警规则，联动 Alertmanager 发送邮件/企业微信/钉钉/Slack。
  • 在 Chef Recipe 中做阈值判断与自愈动作（如磁盘 > 80% 清理 /var/log 下 7 天前的日志）。

三 关键配置与示例

• Ohai 插件采集 CPU 指标（示例）
  • 插件路径：/etc/chef/ohai_plugins/cpu_usage.rb

    Ohai.plugin(:CpuUsage) do
      provides 'cpu_usage'
      collect_data do
        cpu_usage = `top -bn1 | grep 'load average' | awk '{printf("%.2f", $(NF-2))}'`.strip
        node.normal['cpu_usage'] = cpu_usage
      end
    end
    

  • 在配方中加载并使用：

    ohai 'load_custom_plugins' do
      plugins ['cpu_usage']
      action :nothing
    end.run_action(:run)
    
    log "CPU Usage: #{node['cpu_usage']}%" do
      level :info
    end
    

• Chef Data Collector 上报运行数据（示例）
  • 在 /etc/chef/client.rb 启用数据收集器（示例为上报到 Chef Automate）：

    data_collector.server_url "https://automate.example.com/data-collector/v0/"
    data_collector.token "your-secure-token-here"
    data_collector.mode :both
    data_collector.raise_on_failure false
    data_collector.output_locations(
      files: ["/var/log/chef/collector.log"],
      urls: ["https://webhook.example.com/events"]
    )
    

  • 验证与观察：执行 chef-client --test --config /path/to/client.rb，在 /var/log/chef/collector.log 可见 Run Start/Run End 事件。
• 自愈示例：磁盘阈值触发清理（示例）

  execute 'cleanup_old_logs' do
    command 'find /var/log -type f -name "*.log" -mtime +7 -delete'
    only_if 'df --output=pcent / | tail -1 | tr -d "% " | awk "$1 > 80"'
  end
  

• 第三方 APM 集成（New Relic 示例）
  • 在 Berksfile 添加：cookbook 'newrelic', '~> 最新稳定版本'
  • 在节点或角色 Run List 加入：recipe[newrelic::default]
  • 通过 Chef 加密数据包 或 环境变量 安全注入 license_key，执行 chef-client 自动部署与注册。

四 最佳实践与注意事项

• 幂等与可重复：配方应保持幂等，避免重复执行产生副作用；变更通过版本控制与 Roles/Environments 管理。
• 安全与合规：
  • Data Collector 的 token 与 server_url 需受控与加密存储；必要时开启 raise_on_failure false 避免采集失败中断业务配置。
  • 第三方密钥（如 New Relic license_key）使用 Chef Vault/加密数据包 管理。
• 运行稳定性：
  • 生产以 systemd 托管 chef-client，设置合适的 interval 与重启策略，避免重叠执行与漏采。
  • 对外部依赖（如 Prometheus/ELK/New Relic）做健康检查与失败降级。
• 数据治理：
  • 为 Data Collector 配置多路输出（本地文件 + 远端端点），便于审计与二次分析。
  • 为 日志轮转 与 保留策略 制定规范，防止磁盘被撑满。