elasticsearch如何优化索引结构

在 Elasticsearch 中，“优化索引结构”通常可以从映射（Mapping）设计、分片与副本策略、索引生命周期管理、查询与写入优化等多个层面来进行。下面按实战角度系统说明。

一、Mapping（字段映射）优化

1. 明确字段类型，避免动态映射

• 关闭或限制 dynamic

"dynamic": "strict"  // 或 "false"

• 避免 ES 自动推断导致 text + keyword 双字段浪费存储

2. 合理使用 text 与 keyword

• 需要全文检索 → text
• 需要聚合、排序、精确匹配 → keyword
• 不需要全文检索的字段直接用 keyword

"username": { "type": "keyword" }

3. 禁用不需要的功能

• 不需要搜索："index": false
• 不需要聚合/排序："doc_values": false
• 不需要返回原值："store": false

"big_field": {
  "type": "text",
  "index": false
}

4. 使用 copy_to 减少字段数

"first_name": { "type": "text", "copy_to": "full_name" },
"last_name": { "type": "text", "copy_to": "full_name" }

5. 时间字段用 date，不要存字符串

"created_at": { "type": "date" }

二、分片（Shard）与副本（Replica）优化

1. 分片大小控制

• 单分片建议：10–50 GB
• 日志类：20–30 GB
• 业务类：10–20 GB

2. 分片数不要过多

• 分片多 → 集群压力大、查询慢
• 创建索引时固定分片数，避免后期 _split

"settings": {
  "number_of_shards": 3,
  "number_of_replicas": 1
}

3. 热冷架构（Hot-Warm-Cold）

• Hot：高 CPU、SSD
• Warm：大容量磁盘
• Cold：归档、低访问

三、索引生命周期管理（ILM）

适合日志、监控、事件类数据

PUT _ilm/policy/logs-policy
{
  "policy": {
    "phases": {
      "hot": { "actions": { "rollover": { "max_size": "30gb" } } },
      "delete": { "min_age": "30d", "actions": { "delete": {} } }
    }
  }
}

好处：

• 控制单索引大小
• 自动清理旧数据
• 提升查询性能

四、写入性能优化

1. 批量写入（bulk）

• 单次 bulk：5–15 MB
• 控制并发线程数

2. 调整刷新频率

"refresh_interval": "30s"

3. 写入期降低副本

"number_of_replicas": 0

写入完成后再恢复

五、查询性能优化

1. 避免 wildcard / 前导通配符

"name": "*abc"  // ❌

2. 使用 filter 代替 query

• filter 可缓存，不计算评分

"filter": [
  { "term": { "status": "active" } }
]

3. 只返回需要的字段

"_source": ["id", "name"]

4. 聚合优化

• 使用 keyword
• 避免深度嵌套聚合
• 使用 composite 聚合分页

六、索引结构示例（推荐）

PUT orders
{
  "settings": {
    "number_of_shards": 3,
    "number_of_replicas": 1,
    "refresh_interval": "30s"
  },
  "mappings": {
    "properties": {
      "order_id": { "type": "keyword" },
      "user_id": { "type": "keyword" },
      "amount": { "type": "scaled_float", "scaling_factor": 100 },
      "status": { "type": "keyword" },
      "created_at": { "type": "date" },
      "remark": { "type": "text", "index": false }
    }
  }
}

七、常见误区

❌ 一个索引存所有数据
❌ 分片越多越快
❌ 所有字段都 text
❌ 不做 ILM
❌ 实时 refresh

如果你有具体业务场景（如日志、电商、搜索、时序数据），我可以给你一套针对性的索引结构设计方案。