如何配置Elasticsearch内存使用

Elasticsearch 内存使用配置指南

一 核心原则

• 堆内存上限：将堆设置为物理内存的约 50%，且不超过 32GB（超过会失去 JVM 压缩指针优势，浪费内存）。
• 堆大小一致：设置 -Xms 与 -Xmx 相等，避免运行期扩缩堆带来的抖动与停顿。
• 预留内存：将剩余内存留给 Lucene/OS Page Cache，用于缓存倒排索引与段文件，显著提升查询性能。
• 禁止 Swap：开启 bootstrap.memory_lock: true 锁定堆内存，避免交换导致严重延迟。
• 熔断器阈值：父级熔断器默认 95%，建议将告警阈值控制在**持续 85%**左右以便及时扩容或优化查询。

二 配置步骤

• 设置堆大小
  • 方式一：编辑 config/jvm.options，设置
    -Xms8g
    -Xmx8g
  • 方式二：环境变量（容器/系统服务常用）
    ES_JAVA_OPTS=“-Xms8g -Xmx8g”
  • 原则：两者相等，且不超过 32GB。
• 锁定内存（生产必做）
  • elasticsearch.yml：
    bootstrap.memory_lock: true
  • 系统/容器：为进程开启内存锁定能力（如 systemd 的 LimitMEMLOCK，Docker 需 ulimits.memlock: soft=-1,hard=-1）。
• 关闭 Swap
  • 临时：swapoff -a；永久：/etc/fstab 注释 swap 分区，或设置 vm.swappiness=1。
• 可选：预触达内存页
  • jvm.options 增加：-XX:+AlwaysPreTouch，减少运行期缺页导致的停顿（启动更慢、运行更稳）。

三 关键内存相关参数

• 熔断器（避免 OOM）
  • indices.breaker.fielddata.limit：默认堆的60%（Fielddata 上限）
  • indices.breaker.request.limit：默认堆的60%（请求结构估算）
  • indices.breaker.total.limit：父级熔断，默认堆的70%（总占用上限）
  • network.breaker.inflight_requests.limit：默认100%（在途请求内存）
  • 约束：若同时设置了 fielddata 的 size 上限，需保证 breaker.limit > cache.size，否则先触发熔断而不淘汰旧缓存。
• 缓存与缓冲（堆内）
  • indices.memory.index_buffer_size：默认10%（索引写入缓冲）
  • indices.queries.cache.size：默认10%（查询请求结果缓存）
• 字段数据与排序聚合
  • 非 text 字段优先使用 doc_values（磁盘+OS 缓存，默认开启），尽量避免在 text 上启用 fielddata（堆内、昂贵）。
  • 如需对 text 做聚合/排序，可仅在必要时开启 fielddata，并严格控制断路器与缓存上限。

四 容量规划与分片控制

• 分片大小：单个分片建议不超过50GB，过大影响恢复、再均衡与查询性能。
• 分片数量上限（经验公式）：
  • shards <= sum(nodes.max_heap) * 20
  • 示例：两台各 8GB 堆 的节点，sum(nodes.max_heap)=16GB，最大分片数约 16×20=320。
• 用途：该公式用于快速评估集群承载上限，并与 _cat/allocation 实际分布交叉验证。

五 监控与验证

• 查看堆与 GC：
  • GET _nodes/stats/jvm?human（关注 heap_used_percent、GC 次数/时间）
• 查看熔断器估算：
  • GET _nodes/stats/breaker?human（观察 fielddata/request/total 的 estimated_size/limit_size）
• 查看缓存与段：
  • GET _stats/fielddata?pretty&human
  • GET _cat/nodes?v&h=name,heap.percent,ram.percent,fielddata.memory_size,query_cache.memory_size
• 验证内存锁定：
  • GET _nodes?filter_path=.mlockall（应为 true）
• 生产建议：持续观察 heap_used_percent，若长期接近或超过85%，优先优化查询/聚合、增加节点或适度上调堆（不超过32GB）。