Elasticsearch数据如何去重

Elasticsearch 数据去重全指南

一 查询侧去重

• 使用 collapse 折叠：按指定字段返回每组的第一条命中，适合“列表页去重展示”。要求折叠字段为 keyword 或数值类型，不支持 text；折叠后命中文档的该字段值会放在 fields 中。示例：

  GET /users/_search
  {
    "query": { "match_all": {} },
    "collapse": { "field": "email.keyword" }
  }
  

• 使用 terms 聚合 + top_hits：按字段分组并取每组 Top N 条，适合“分组明细去重”。示例：

  GET /users/_search
  {
    "size": 0,
    "aggs": {
      "by_email": {
        "terms": { "field": "email.keyword", "size": 10000 },
        "aggs": {
          "hits": { "top_hits": { "size": 1 } }
        }
      }
    }
  }
  

• 使用 cardinality 聚合：统计去重后的数量（近似计数）。示例：

  GET /users/_search
  {
    "size": 0,
    "aggs": {
      "unique_emails": { "cardinality": { "field": "email.keyword" } }
    }
  }
  

• 使用 composite 聚合：大数据量下对分组结果进行分页遍历，常与 terms 思路结合实现全量去重扫描。示例：

  POST /users/_search
  {
    "size": 0,
    "aggs": {
      "pages": {
        "composite": {
          "sources": [{ "email": { "terms": { "field": "email.keyword" } } }],
          "size": 100
        }
      }
    }
  }
  

• 兼容性提示：collapse 不支持与 scroll 一起使用；需要深分页时请改用 search_after 或 composite 聚合。

二 写入侧去重

• 使用 自定义文档 ID：将业务唯一键（如 email、业务主键）作为文档 _id，重复写入会覆盖，天然幂等。示例：

  PUT /users/_doc/user@example.com
  { "name": "John Doe", "email": "user@example.com" }
  

• 使用 Logstash fingerprint 插件生成指纹：对多个字段生成一致哈希（如 MD5/SHA1），将指纹作为 document_id 写入，实现“导入前去重”。示例思路：
  • filter 配置生成 fingerprint，target 设为 fingerprint
  • 使用 document_id => "%{[fingerprint]}" 写入 ES
• 使用 更新或跳过脚本：在写入前先判定是否已存在，若存在则 noop 或跳过。示例：

  POST /users/_update_by_query
  {
    "script": {
      "source": "if (ctx._source.email == params.email) { ctx.op = 'noop' }",
      "params": { "email": "user@example.com" }
    },
    "query": { "term": { "email": "user@example.com" } }
  }
  

• 使用 唯一性约束策略：在应用层或数据流中先以唯一键做 dedupe，再写入 ES，减少后期清理成本。

三 查找重复数据

• 基于单字段的重复分组统计：

  GET /users/_search
  {
    "size": 0,
    "aggs": {
      "dup_emails": {
        "terms": { "field": "email.keyword", "min_doc_count": 2 }
      }
    }
  }
  

• 基于多字段的业务去重判定（如 email + name 都相同视为重复），可用 composite 聚合 分页扫描所有组合并筛选 doc_count > 1 的桶，适合海量数据全量巡检。

四 删除重复数据

• 推荐流程（安全可回滚）：
  1. 用 terms/composite 聚合 找出重复组，并为每组确定“保留文档”（如按 timestamp 最新 或业务优先级）。
  2. 生成待删除的 _id 批次清单（避免一次性加载大量 ID 到内存）。
  3. 使用 delete_by_query 分批删除非保留文档，并控制 scroll_size / slices / refresh 等参数降低集群压力：

     POST /users/_delete_by_query
     {
       "query": {
         "bool": {
           "must": [
             { "term": { "email.keyword": "dup@example.com" } },
             { "range": { "timestamp": { "lt": "2025-01-01T00:00:00Z" } } }
           ]
         }
       }
     }
     

  4. 删除后执行 forcemerge（可选）回收段文件，并在低峰期操作。
• 若重复判定逻辑复杂（模糊匹配、相似度），可考虑 elasticsearch-entity-resolution 等实体解析插件先做相似度判定，再批量删除。

五 实践注意事项

• 字段类型与映射：去重/折叠/聚合的字段尽量使用 keyword（或数值），避免对 text 直接操作；必要时使用 .keyword 子字段。
• 性能与资源：
  • collapse 通常比 “terms+top_hits” 更省内存、性能更好；大数据量分组请配合 shard_size 与合理的 size。
  • cardinality 为近似计数，可通过 precision_threshold 调整精度与内存占用；对超大规模基数可安装 murmur3 插件加速基数估算。
  • 深分页避免 scroll+collapse，改用 search_after 或 composite 聚合。
• 数据一致性：写入侧去重（自定义 _id 或 fingerprint）是最稳妥的防重手段；查询侧去重仅影响展示与统计，不会删除数据。