如何利用Filebeat在CentOS上进行日志监控

如何在CentOS上利用Filebeat进行日志监控

1. 安装Filebeat

方法一：使用YUM仓库安装（推荐）

添加Elastic官方YUM仓库，确保软件包来源可信：

sudo tee /etc/yum.repos.d/elastic-beats.repo << EOF
[elastic-7.x]
name=Elasticsearch repository for 7.x packages
baseurl=https://artifacts.elastic.co/packages/7.x/yum
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=1
autorefresh=1
type=rpm-md
EOF

安装Filebeat：
```
sudo yum install filebeat -y
```

方法二：手动下载RPM包安装

下载指定版本的Filebeat RPM包（以7.10.2为例）：

wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.10.2-amd64.rpm

安装RPM包：

sudo rpm -ivh filebeat-7.10.2-amd64.rpm

方法三：解压tar.gz包安装

下载tar.gz包并解压到/opt目录：

wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.10.2-linux-x86_64.tar.gz
sudo tar -xzf filebeat-7.10.2-linux-x86_64.tar.gz -C /opt/

后续需手动创建Systemd服务（参考后续“启动与启用”步骤）。

2. 配置Filebeat

2.1 编辑主配置文件

Filebeat的主配置文件位于/etc/filebeat/filebeat.yml，需修改以下核心部分：

2.1.1 定义输入源（filebeat.inputs）

指定要监控的日志文件路径，支持通配符*和排除规则：

filebeat.inputs:
- type: log  # 输入类型为日志文件
  enabled: true
  paths:
    - /var/log/*.log       # 监控/var/log下所有.log文件
    - /var/log/myapp/*.log # 监控自定义应用日志目录
  exclude_files: ['*.gz']  # 排除.gz压缩文件
  ignore_older: 72h        # 忽略72小时前修改的文件（减少资源消耗）

2.1.2 配置输出目标（output）

将日志发送到Elasticsearch（生产环境常用）或Logstash：

输出到Elasticsearch：

output.elasticsearch:
  hosts: ["localhost:9200"]  # Elasticsearch地址（若在远程服务器，替换为IP）
  index: "filebeat-%{+yyyy.MM.dd}"  # 动态生成每日索引（如filebeat-2025.09.22）
  username: "elastic"        # 若启用了X-Pack安全，需配置用户名
  password: "your_password"  # 对应密码

输出到Logstash（需先安装Logstash）：

output.logstash:
  hosts: ["localhost:5044"]  # Logstash监听端口

2.1.3 可选：配置Kibana（setup.kibana）

若需使用Kibana进行可视化，需添加Kibana地址：

setup.kibana:
  host: "localhost:5601"  # Kibana地址

2.1.4 可选：优化性能（高级配置）

处理日志轮转：Filebeat默认支持logrotate，无需额外配置，但可调整close_older（文件未更新时关闭句柄的时间，默认5m）。

多行日志合并：若日志每条跨越多行（如Java异常堆栈），需配置multiline：

filebeat.inputs:
- type: log
  multiline.pattern: '^\['  # 匹配日志行开头的特征（如Java异常的[）
  multiline.negate: true    # 取反，即匹配pattern以外的行作为新日志
  multiline.match: after    # 将后续行追加到上一行后面

2.2 启用Filebeat模块（可选但推荐）

Filebeat内置了常见应用（如Nginx、MySQL、System）的预定义配置模块，可简化日志解析：

# 查看可用模块
sudo filebeat modules list
# 启用System模块（监控系统日志）
sudo filebeat modules enable system
# 启用Nginx模块（需提前安装Nginx）
sudo filebeat modules enable nginx

启用模块后，模块的配置会自动加载到filebeat.inputs中，无需手动修改filebeat.yml。

3. 启动与启用Filebeat

3.1 启动服务

sudo systemctl start filebeat  # 启动Filebeat
sudo systemctl enable filebeat # 设置开机自启

3.2 检查服务状态

sudo systemctl status filebeat

若状态显示为active (running)，则表示服务已正常运行。

3.3 查看日志

若需排查问题，可通过以下命令查看Filebeat实时日志：

sudo journalctl -u filebeat -f

3.4 验证配置文件语法

修改配置文件后，建议先验证语法是否正确：

sudo filebeat test config -e

无报错则表示配置正确。

4. 验证日志收集

4.1 查看Elasticsearch索引

若输出到Elasticsearch，可通过以下命令查看是否生成了Filebeat索引：

curl -XGET 'localhost:9200/_cat/indices?v' | grep filebeat

若输出类似filebeat-2025.09.22的索引，说明日志已成功发送。

4.2 使用Kibana可视化

访问Kibana界面（默认http://localhost:5601）。
进入Stack Management > Index Patterns，创建新的索引模式：
- 名称：filebeat-*（匹配所有Filebeat生成的索引）。
- 时间字段：选择@timestamp（日志时间戳）。
进入Discover页面，即可查看实时日志数据，并通过Kibana的Dashboard功能创建自定义监控仪表盘。

注意事项

权限问题：确保Filebeat有权限读取监控的日志文件（可通过chown或chmod调整权限）。
防火墙配置：若Elasticsearch/Kibana在远程服务器，需开放对应端口（9200、5601）的防火墙规则。
SELinux：若系统启用了SELinux，需调整SELinux策略允许Filebeat访问日志文件（如setsebool -P filebeat_port_t 1）。
资源占用：监控大量日志文件时，可调整harvester.buffer_size（默认16KB）和scan_frequency（默认10s）参数优化性能。