Informix在Linux下的故障排查方法

一、明确问题现象

记录故障的具体表现（如数据库无法启动、查询响应缓慢、报错信息等），包括错误代码（如SQLCODE）、发生时间及触发条件（如特定操作后出现）。尝试在测试环境重现问题，缩小故障范围。

二、收集系统与数据库日志

1. 系统日志分析

• 使用dmesg查看内核日志，检查硬件（如磁盘、内存）或驱动程序错误；
• 查看/var/log/messages、/var/log/syslog或/var/log/auth.log（CentOS），获取系统级错误信息（如服务启动失败、权限问题）；
• 使用journalctl -xe（systemd系统）查看实时系统日志。

2. Informix日志分析

• 使用onstat -l查看逻辑日志状态（是否满、使用情况）；
• 使用onstat -x检查事务的逻辑日志起始位置，定位长事务；
• 查看Informix错误日志（通常位于/opt/IBM/informix/log/server.log或/var/log/informix/），获取数据库内部错误详情。

三、检查数据库状态与服务

1. 数据库初始化状态

使用oninit -v检查数据库是否正常初始化（共享内存是否加载），若未初始化，尝试手动启动：onmode -c startup。

2. 数据库运行状态

使用onstat -系列命令监控状态：

• onstat -c：查看CPU使用及进程信息；
• onstat -m：查看内存使用（缓冲池、锁等）；
• onstat -d：查看磁盘I/O及数据库空间使用；
• onstat -s：查看SQL执行统计（慢查询、执行次数）；
• onstat -g ses：查看当前会话信息（锁等待、阻塞情况）。

3. 服务状态管理

使用onmode命令调整数据库状态：

• onmode -c status：检查数据库当前状态（在线、离线）；
• onmode -z：紧急模式下修复数据库（需谨慎使用）；
• onmode -m：切换到多用户模式（正常运行）。

四、排查常见问题及解决方法

1. 启动失败

• 原因：SELinux阻止、配置文件错误（onconfig）、依赖服务未启动（如网络、磁盘）。
• 解决：
  • 临时禁用SELinux：setenforce 0，重启Informix验证；
  • 检查onconfig文件（如$INFORMIXDIR/etc/onconfig）中的参数（内存分配、磁盘路径）；
  • 使用df -h检查磁盘空间，free -m检查内存是否充足。

2. 逻辑日志满

• 现象：数据库停止接受写入，报错“Logical log full”。
• 解决：
  • 检查逻辑日志备份是否正常（onstat -x查看事务日志起始位置）；
  • 增加逻辑日志：使用onparams -a -d <DBspace> -s <size> -i添加新日志文件；
  • 备份后删除旧日志：onstat -l确认日志文件后，执行ontape -s -L 0备份并截断日志。

3. 锁冲突与长事务

• 现象：查询阻塞、报错“Lock wait timeout exceeded”。
• 解决：
  • 使用onstat -u查看锁等待会话，onstat -g ses分析阻塞链；
  • 终止阻塞进程：onmode -z <session_id>（谨慎使用）；
  • 优化事务：缩短长事务（拆分大事务为小事务），调整隔离级别（如使用行级锁）。

4. I/O失败或磁盘空间不足

• 现象：无法插入数据、报错“Disk I/O error”或“Disk full”。
• 解决：
  • 使用df -h检查磁盘空间，清理不必要的文件（如日志、临时文件）；
  • 使用iostat -x 1监控磁盘I/O，检查磁盘是否故障（如高await、%util）；
  • 验证磁盘权限：确保Informix用户（如informix）对数据目录有读写权限（chown -R informix:informix /opt/IBM/informix/data）。

5. 性能瓶颈

• 现象：查询响应慢、CPU/内存使用率高。
• 解决：
  • 使用onstat -c查看CPU热点（如高CPU的会话或进程）；
  • 使用onstat -m分析内存使用（如缓冲池命中率低，需调整BUFFERS参数）；
  • 使用onstat -d检查磁盘I/O（如某chunk读写慢，需迁移至更快磁盘）；
  • 优化查询：使用dbaccess执行EXPLAIN分析慢查询，添加索引或重写SQL。

五、使用诊断与监控工具

1. Informix自带工具

• onstat：核心监控工具，覆盖CPU、内存、磁盘、SQL等全维度指标；
• oncheck：检查数据库一致性（oncheck -pt <database>检查表结构，oncheck -pu <database>修复碎片）。

2. 系统监控工具

• top/htop：实时查看进程资源占用（CPU、内存）；
• vmstat 1：监控虚拟内存（si/so表示磁盘交换频繁，需调整内存）；
• iostat -x 1：监控磁盘I/O（await表示平均I/O等待时间，%util表示磁盘利用率）；
• netstat -tulnp：查看网络连接（如端口是否监听、连接数是否过多）。

3. 第三方工具

• IBM Data Server Manager：全面监控Informix性能、配置、日志，支持告警；
• Prometheus + Grafana：收集onstat数据并可视化，设置性能阈值告警；
• Monit：监控Informix进程状态（如进程崩溃时自动重启）。

六、验证与预防

1. 故障验证

修复后，通过onstat命令确认状态恢复正常（如逻辑日志空间充足、锁等待消失、磁盘I/O正常），并通过简单查询（如SELECT 1 FROM systables）验证数据库可用性。

2. 预防措施

• 定期备份：使用ontape或onbar工具备份数据库，测试备份恢复流程；
• 监控告警：设置磁盘空间、内存使用、CPU负载等阈值告警（如df -h | awk '$5 > 90 {print}'）；
• 定期维护：每周执行onstat -g ckp检查检查点状态，每月执行oncheck检查数据库一致性，每季度优化索引（ALTER INDEX ... REBUILD）；
• 更新补丁：定期升级Informix到最新版本，应用安全补丁（如IBM官方发布的CVE修复）。