centos里weblogic故障排查思路

CentOS 上 WebLogic 故障排查思路

一 快速定位路径

• 明确现象与目标：是起不来、启动后访问慢/报错、应用不可用，还是偶发异常。
• 先看日志：优先查看 $DOMAIN_HOME/servers/<server_name>/logs 下的 serverName.log 与 serverName.out，用 tail -f 实时跟踪，配合 grep -i error|exception 快速定位关键字。
• 再看系统：用 top/vmstat/iostat/df 检查 CPU、内存、磁盘、I/O；用 netstat -tulpen | grep <端口> 或 ss -lntp 检查端口占用与监听；必要时用 firewall-cmd --list-ports 与 ping/traceroute 验证连通性；journalctl -xe 查看系统侧事件。
• 最后看配置与网络：核对 config.xml / JDBC 数据源、被管与域配置；确认 /etc/hosts 主机名解析正确，避免 UnknownHostException。

二 常见故障与处理要点

• 启动失败或反复重启
  • 端口被占用：检查 7001/7002 等端口占用并释放或更换端口；检查 startWebLogic.sh 等脚本参数与内存设置。
  • 配置错误：核对 config.xml、startWebLogic.sh 路径与参数；必要时回退最近变更。
  • 权限问题：确认以正确用户启动，目录与文件权限正确。
  • 资源不足：CPU/内存/磁盘告警时先释放或扩容，再重启。
• 控制台登录慢或卡顿
  • 常见于 SecureRandom 阻塞，可在 JAVA_OPTIONS 添加：-Djava.security.egd=file:/dev/./urandom（注意使用 /dev/./urandom 形式），重启后验证。
• 数据库连接失败
  • 核对 JDBC URL、用户名、密码；确认数据库服务已启动；放通 数据库端口（如 5432）；检查 网络与防火墙；验证 数据库用户权限。
• 认证与启动身份异常
  • 启动身份文件 boot.properties 用户名/密码错误：用明文更新后首次启动会自动加密；若忘记管理员密码，可按官方流程重建管理员用户（示例：java -cp $WL_HOME/server/lib/weblogic.jar weblogic.security.utils.AdminAccount <user> <pwd> .），并清理被管服务器 ldap 目录后再启动。
• 主机名解析错误
  • 出现 UnknownHostException 时，编辑 /etc/hosts，将本机 FQDN 与 127.0.0.1 正确映射，例如：127.0.0.1 your-hostname localhost ...。

三 关键命令与检查清单

• 日志与实时跟踪
  • tail -f $DOMAIN_HOME/servers/<server_name>/logs/serverName.log
  • tail -f $DOMAIN_HOME/servers/<server_name>/logs/serverName.out
  • grep -i -n "error\|exception" $DOMAIN_HOME/servers/<server_name>/logs/*.log
• 端口与监听
  • ss -lntp | grep 7001
  • netstat -tulpen | grep <端口>
• 资源与系统
  • top / vmstat 1 10 / iostat -x 1 10 / free -m / df -h
  • journalctl -xe
• 网络与防火墙
  • ping <db_host> / traceroute <db_host>
  • firewall-cmd --list-ports；放通示例：firewall-cmd --zone=public --add-port=5432/tcp --permanent && firewall-cmd --reload
• 主机名解析
  • hostname -f；cat /etc/hosts 确认 FQDN 映射
• JVM 诊断
  • jstack <pid>、jmap -heap <pid>（必要时配合 VisualVM/JFR 分析）

四 排障流程建议

1. 现象与影响范围：记录时间线、错误码/异常栈、影响Server/应用。
2. 日志优先：先看 serverName.log / serverName.out，抓取首次报错与堆栈。
3. 资源与端口：用 top/vmstat/iostat/df 与 ss/netstat 排除资源不足与端口冲突。
4. 配置核对：检查 config.xml、JDBC 数据源、启动脚本参数；变更回滚到上一个稳定版本。
5. 网络连通：验证 数据库/外部依赖 的 IP/端口/防火墙；必要时在应用侧做 telnet/db 客户端直连 测试。
6. 针对性修复：按“启动失败/控制台慢/数据库连接/认证异常/UnknownHost”对应措施处理。
7. 复现与回归：在测试环境复现并回归验证；保留变更记录与回滚方案。
8. 固化与预防：完善监控告警（日志关键字、线程/堆、连接池、磁盘/IO）、启动前自检脚本（端口、目录权限、连接池探活）、备份策略（域目录与数据库）。