C++应用在CentOS如何监控

C++应用在 CentOS 的监控实践

一系统层监控

实时与多维资源查看
- 使用 top/htop 观察进程的 CPU、内存、线程 使用；vmstat 查看 进程、内存、CPU、I/O 综合指标；iostat 聚焦 磁盘 I/O；sar（需安装 sysstat）做历史与系统活动报告；dstat 整合多类资源统计；nmon 提供交互式界面并支持导出 CSV；Glances 提供跨平台的综合监控视图。
安装与快速上手
- 安装常用工具：sudo yum install -y sysstat htop nmon dstat glances
- 常用命令示例：
  - top/htop -p $(pidof your_app)
  - vmstat 1 10
  - iostat -x 1 10
  - sar -u -r -b 1 60
  - dstat -c -m -d -n
  - nmon -f -s 5 -c 12
  - glances
使用要点
- 关注 CPU 使用率、内存 RSS/VSZ、文件描述符数、磁盘 await/rrqm/s、网络吞吐 等关键指标，结合业务阈值设置告警。

二应用性能剖析

perf 采样分析
- 用途：基于硬件性能计数器定位 热点函数、缓存命中/未命中、分支预测 等瓶颈。
- 示例：
  - 记录：sudo perf record -g -p $(pidof your_app) -o perf.data sleep 30
  - 报告：perf report -n --stdio
  - 火焰图：perf script | stackcollapse-perf.pl | flamegraph.pl > flame.svg
gprof 插桩分析
- 用途：获取函数调用次数与耗时，适合单线程或初步分析。
- 示例：g++ -pg -O2 app.cpp -o app && ./app && gprof app gmon.out > report.txt
Valgrind 内存与缓存分析
- 用途：检测 内存泄漏、越界访问、未初始化内存；Cachegrind/Callgrind 做缓存与调用分析。
- 示例：valgrind --tool=memcheck --leak-check=full ./your_app
- 注意：Valgrind 会显著降低运行速度，适合测试/问题定位，不建议在性能压测中使用。
编译器与构建优化
- 发布构建建议：g++ -O2/-O3 -march=native -flto 提升性能；调试/剖析构建配合 -g 保留调试符号。

三内存与资源泄漏定位

Valgrind Memcheck
- 示例：valgrind --leak-check=full --log-file=valgrind.log ./your_app
- 输出会给出 definitely lost、indirectly lost、possibly lost 与调用栈，便于精准修复。
gperftools（tcmalloc + heap profiler）
- 用途：替代默认分配器，提供 堆内存分配剖析、泄漏检测、线程缓存 等能力，适合长时间运行服务。
- 示例：
  - 编译链接：g++ app.cpp -ltcmalloc -o app
  - 开启堆剖析：HEAPPROFILE=/tmp/heapprof ./app
  - 分析：pprof --text ./app /tmp/heapprof.0001.heap
代码层埋点与资源统计
- 使用 RAII 管理文件/锁/内存；在关键路径用 C++ 计时；结合日志库（如 spdlog/log4cpp）输出 指标与错误，并设置 日志轮转 防止磁盘占满。

四运行稳定性与自愈

五监控落地与告警建议

指标与阈值示例
- 进程存活：进程不存在即 严重告警
- CPU：持续 >80% 为警告，>90% 为严重
- 内存：RSS 持续接近 容器/系统上限 或 >80% 为警告
- 文件描述符：接近 ulimit -n 为警告
- 磁盘：await 明显升高或 磁盘使用率 >85% 为警告
- 网络：异常 丢包/重传 或带宽突增
采集与可视化
- 短期排查：优先用 perf/Valgrind/gperftools 获取函数级细节
- 长期观测：用 sar/nmon 做历史趋势，结合 Grafana + Prometheus 或 Zabbix 配置图表与阈值告警
日志与追踪
- 结构化日志（JSON）输出 请求ID、耗时、错误码；关键路径打点；定期 日志轮转 与归档

最新问答