如何利用Linux WebLogic进行数据分析

Linux WebLogic 数据分析实操指南

一 明确目标与数据来源

• 业务与运维最关注的维度通常包括：JVM 内存与 GC、线程池（活跃/空闲/STUCK）、JDBC 连接池使用率、HTTP 请求量与响应时间、系统资源（CPU/内存/磁盘 I/O）、错误与慢 SQL。
• 数据来源与用途概览：
  • WebLogic 管理控制台：快速查看服务器状态、线程池、JDBC、JVM 等核心指标，用于即时排查与验证。
  • WLST 脚本 + JMX：批量采集指标、做自定义分析与历史趋势留存，适合自动化巡检与容量评估。
  • JMX 远程：用 JConsole/VisualVM 直连实例，做在线诊断与可视化观察。
  • 日志文件：分析 server.log / access.log / domain.log / diagnostic.log，定位错误、慢请求、异常堆栈与告警。
  • 系统命令：用 top/htop/vmstat/sar 观察 OS 层瓶颈，与中间件指标交叉验证。

二 数据采集与可视化

• 控制台与 WLST
  • 控制台路径示例：Servers → [Your Server] → Monitoring → Performance/Thread Pool/JDBC，可直观看到堆/非堆内存、GC 次数与时长、活跃/空闲线程、连接池使用率等。
  • WLST 示例（采集健康与线程池关键指标）：

    connect('weblogic','welcome1','t3://localhost:7001')
    sr = cmo.getServerRuntime()
    print("Health:", sr.getHealthState())
    tp = sr.getThreadPoolRuntime()
    print("Active:", tp.getExecuteThreadTotalCount())
    print("Idle:", tp.getStandbyThreadCount())
    print("Stuck:", tp.getStuckThreadCount())
    disconnect()
    

• JMX 与可视化
  • 在 setDomainEnv.sh 中启用 JMX（开放端口、认证方式按安全规范配置），用 JConsole/VisualVM 连接采集 JVM/线程/JDBC 指标。
  • 大规模与长期分析建议引入 Prometheus + Grafana：部署 weblogic-monitoring-exporter 暴露 /metrics，Prometheus 抓取，Grafana 导入 WebLogic 官方仪表盘展示 JVM 堆、线程池、响应时间等；同时可用 Zabbix 做主机与应用层统一监控与告警。

三 日志分析与慢请求定位

• 日志位置与类型
  • 常见路径：$MW_HOME/user_projects/domains//servers//logs/。
  • 关键文件：server.log（服务器运行日志）、access.log（HTTP 访问日志）、.log（域日志）、diagnostic.log（诊断日志，开发模式更常用）。
• 命令行快速分析
  • 错误趋势：统计当天 ERROR 数量

    grep "ERROR" $DOMAIN_HOME/servers/*/logs/server.log | \
      awk -v d=$(date +%F) '$0 ~ d {print $0}' | wc -l
    

  • 慢请求筛选（示例阈值 5s，按实际日志时间格式调整）

    grep "weblogic.servlet.logging" $DOMAIN_HOME/servers/*/logs/access.log | \
      awk -F'"' '$NF > 5 {print $0}'
    

  • 实时追踪异常

    tail -n 200 -f $DOMAIN_HOME/servers/*/logs/server.log | egrep "ERROR|STUCK|Exception"
    

• 可视化与集中化
  • 使用 Logstash/Graylog 做日志采集、解析与告警；用 GoAccess 对 access.log 生成 HTML/JSON/CSV 报告，分析 请求数、响应时间、错误率 等关键指标。

四 系统层瓶颈排查与优化

• 资源观测
  • 用 top/htop 观察 CPU/内存 占用；vmstat 看上下文切换与 CPU 等待；sar 做历史负载与 I/O 分析，定位是否为 CPU 饱和、内存不足、I/O 阻塞 导致中间件异常。
• 针对性优化
  • JVM 参数：合理设置 -Xms/-Xmx（如 -Xms4g -Xmx4g），避免频繁 GC 与 OOM；结合 GC 日志评估停顿与回收效率。
  • 连接池与线程池：在控制台或 WLST 调整 JDBC 最大连接数、超时、测试连接 与 线程池大小，减少排队与超时。
  • 操作系统：提升 文件描述符限制（ulimit -n），优化 TCP 参数（如 tcp_tw_reuse、tcp_fin_timeout），缓解连接耗尽与端口占用问题。

五 告警与自动化巡检

• 轻量脚本巡检
  • 进程与端口存活检查（示例检查 7001）

    #!/usr/bin/env bash
    pid=$(ps -ef | grep "weblogic.Server" | grep -v grep | awk '{print $2}')
    if [ -z "$pid" ]; then
      echo "WebLogic process not found" | mail -s "WL ALERT" admin@example.com
      exit 1
    fi
    if ! ss -lntp | grep :7001 >/dev/null; then
      echo "Port 7001 not listening" | mail -s "WL ALERT" admin@example.com
      exit 1
    fi
    echo "WebLogic OK"
    

  • 加入 crontab 定时执行（如每 5 分钟），实现基础可用性监控。
• 平台化告警
  • Prometheus + Alertmanager：对 JVM 堆使用率、线程池活跃数、连接池使用率、HTTP 5xx 比例 设置阈值告警，联动 邮件/Slack。
  • Zabbix：通过 JMX 监控 与自定义脚本，统一纳管 Linux 资源 + WebLogic 指标，配置触发器与通知策略。