Elasticsearch机器学习功能怎么用

Elasticsearch机器学习功能使用指南

一 能力概览与适用场景

• 无监督异常检测
  • Single metric：对单条时间序列做异常检测，如请求量、响应时间。
  • Multi metric：同时分析多个指标，并可按维度拆分、设置影响者（influencers）。
  • Population：与总体行为对比，发现相对异常个体（如某台主机比同群体慢）。
  • Advanced/日志归类 Categorization：高级配置与日志模板归类，识别异常模式。
• 监督学习 Data Frame Analytics
  • 回归 Regression：预测数值（如航班延误分钟数）。
  • 分类 Classification：预测类别（如是否延误）。
  • 离群值检测 Outlier detection：无监督识别异常点（适合以实体为中心的数据）。
• 前置处理与建模生态
  • Transforms：把时序/日志转为以实体为中心的聚合索引，便于群体对比与离群检测。
  • Eland：Python 客户端，可在 Elasticsearch 上做 pandas/NumPy 风格分析，并将 XGBoost 等模型导入 ES 进行推理。

二 快速上手步骤

• 准备
  • 启用 Elasticsearch 白金版试用或具备相应许可；在 Kibana > Machine Learning 中操作。
  • 准备含时间字段（如 @timestamp）的索引；可用 Kibana 自带样例数据：kibana_sample_data_logs、kibana_sample_data_flights。
• 无监督异常检测（单指标示例）
  • 路径：Kibana > Machine Learning > 异常检测 > 作业 > 创建作业，选择索引（如 kibana_sample_data_logs）。
  • 选择 单一指标，时间范围可用“使用完整的数据”（样例数据量小）。
  • 配置
    • 指标：选择 Count(Event rate)（请求速率）；
    • 存储桶跨度 Bucket span：按数据节奏设置（如 5m–1h，样例可用默认/自动评估）；
    • 其他选项保持默认，输入作业 ID 与描述后创建；
  • 查看与预测
    • 在结果页拖动时间轴定位异常区间；
    • 点击 预测 对未来时段做趋势外推与异常带展示。
• 监督学习（回归示例：航班延误预测）
  • 路径：Kibana > Machine Learning > 数据帧分析 > 作业 > 创建作业，选择 kibana_sample_data_flights。
  • 选择 回归 Regression，设置目标字段（如 FlightDelayMin），选择特征字段（如 AvgTicketPrice、DistanceKilometers、OriginWeather、dayOfWeek 等），划分训练/验证集后启动训练；
  • 训练完成后在 Kibana 查看模型评估（如 R²、RMSE），并用推理作业对新数据进行预测。

三 关键参数与调优建议

• 时间字段与数据质量
  • 确保有可解析的 @timestamp；必要时先用 Ingest Pipeline/Data Visualizer 检查时间分布与字段类型。
• 存储桶跨度 Bucket span
  • 代表建模的时间窗口，常见取值 5 分钟–1 小时；跨度过大易漏检，过小会增大计算量。可借助 Kibana 的跨度评估工具或 Data Visualizer 先观察数据节奏。
• 影响者 Influencers 与拆分维度
  • 在 Multi metric/Population 中设置维度字段（如 host、service、OriginCountry）作为影响者，便于定位“哪里/哪个群体”异常。
• 实体为中心的分析
  • 对日志/交易等时序数据，先用 Transforms 按 entity（如 customer、host、session） 聚合，再做 Outlier detection，能更好发现“行为异常”的个体。
• 资源与许可
  • 机器学习为 X-Pack 商业特性，需相应许可；大数据量作业请关注节点 内存/CPU 与作业内存上限设置。

四 与 Python 生态结合 Eland

• 安装与连接
  • 安装：pip install eland 或 conda install -c conda-forge eland
  • 连接：eland.DataFrame("localhost:9200", es_index_pattern="flights") 或使用 Cloud ID 连接云端集群。
• 典型用法
  • 在 Elasticsearch 上以 pandas 风格做 ETL/分析，避免把海量数据拉回本地；
  • 训练本地 XGBoost 模型后，用 eland.ml.ImportedMLModel 将模型导入 ES，直接对 ES 索引进行批量推理与在线打分。