elasticsearch为什么丢数据

Elasticsearch（ES）“丢数据”通常不是真的凭空消失，而是写入未生效 / 副本不一致 / 集群异常 / 配置或使用方式问题导致的。下面按最常见原因 → 原理 → 解决建议来说明。

一、写入阶段就“没写进去”（最常见）

1. 用了 async / fire and forget 写入

• 如：
  • index.refresh_interval 很大
  • 客户端不等待 response
  • bulk 请求部分失败没检查

✅ 表现：

• 写入返回成功，但其实失败了
• 或写入在 translog 中，还没 refresh

✅ 解决：

• 检查 bulk response 的 errors: true
• 不要忽略 failed 项
• 重要数据使用：

  "wait_for_active_shards": "all"
  

二、Refresh 之前查不到（误以为丢）

2. 刚写入就查不到

• ES 写入流程：

  write → memory buffer → refresh → 可被搜索
  

• 默认 refresh_interval = 1s

✅ 表现：

• 写入成功，但立刻查询查不到

✅ 解决：

• 写入时加：

  ?refresh=true
  

• 或等 1 秒再查

三、副本未同步（集群异常）

3. 主分片写成功，副本没同步

可能原因：

• 节点宕机
• 网络分区
• 磁盘满
• wait_for_active_shards 设置过低

✅ 表现：

• 主分片有，副本没有
• 主分片挂了后数据“消失”

✅ 解决：

PUT /index/_settings
{
  "index.number_of_replicas": 1
}

写入时：

?wait_for_active_shards=2

四、分片分配失败 / 未分配

4. 分片 UNASSIGNED

常见原因：

• 磁盘水位线触发（watermark）
• 节点不足
• 副本数 > 可用节点数

✅ 查看：

GET _cat/shards?v
GET _cluster/allocation/explain

✅ 解决：

• 清理磁盘
• 增加节点
• 降低副本数

五、误删 / 覆盖

5. 覆盖写（不是更新）

• 使用 PUT /index/_doc/id 覆盖
• 或 _bulk 中 action 写错

✅ 建议：

• 更新用 _update
• 明确 _create / index 语义

六、定期删除 / ILM / 生命周期

6. ILM 自动删除

• delete phase
• 热→温→冷→删

✅ 检查：

GET _ilm/policy

七、Translog 丢失（极端情况）

7. 宕机 + fsync 未触发

• index.translog.durability=async
• 机器断电

✅ 解决：

"index.translog.durability": "request"

八、Mapping 问题导致“看起来丢”

8. 字段被 ignore / 类型冲突

• ignore_malformed
• dynamic: false

✅ 表现：

• 文档在，但某些字段查不到

快速自查清单 ✅

1. bulk 是否检查 errors
2. 是否等 refresh
3. 副本是否分配
4. 是否有 ILM 删除
5. 磁盘是否满
6. 是否网络分区
7. translog 配置是否合理

如果你能补充：

• ES 版本
• 单节点 / 集群
• 是否用了 bulk
• 丢数据的复现方式

我可以帮你精准定位是哪一类原因。