Kafka配置中的压缩选项有哪些

Kafka 压缩选项全览

支持的压缩算法

• gzip：压缩率最高、CPU 与解压耗时较高，适合对带宽/存储更敏感的场景。
• snappy：压缩率与速度均衡，CPU 开销较低，通用首选。
• lz4：压缩率最低、速度最快，适合极致吞吐与低延迟。
• zstd：兼顾压缩率与速度，资源占用适中，适合在 CPU 与带宽间取平衡。

配置层级与取值

• 生产者 Producer
  • 参数：compression.type
  • 取值：none / gzip / snappy / lz4 / zstd
  • 默认值：none（不压缩）
  • 作用：发送前对消息进行压缩，端到端生效。
• Broker
  • 参数：compression.type
  • 取值：none / gzip / snappy / lz4 / zstd / producer
  • 默认值：producer（保持生产者压缩格式不变）
  • 作用：控制落盘与复制时是否转换压缩格式；设为具体算法会强制重压缩。
• Topic（可覆盖 Broker）
  • 方式：创建或修改 topic 时设置 compression.type
  • 示例：
    • 创建时指定：
      • sh bin/kafka-topics.sh --create --topic my-topic --partitions 1 --replication-factor 1 --config compression.type=snappy
    • 修改已有 topic：
      • bin/kafka-configs.sh --entity-type topics --entity-name my-topic --alter --add-config compression.type=snappy
  • 作用：对单个 topic 生效，优先级高于 Broker 全局配置。

消费者是否需要配置

• 消费者端无需额外配置压缩方式，Kafka 会在消费时自动解压生产者写入的压缩批次。

实用配置建议

• 优先在生产者侧开启压缩，并结合批量参数提升压缩效果与吞吐：
  • 增大批次：batch.size（如 16384–65536）
  • 允许等待：linger.ms（如 5–20 ms）
  • 这样可形成更大的压缩批次，提高压缩率与网络效率。
• 选择算法的权衡
  • 追求压缩率：gzip
  • 追求吞吐与低延迟：lz4
  • 通用均衡：snappy
  • 兼顾压缩率与速度：zstd
  • 数据重复度越高（如 JSON 批量），压缩收益越明显。
• 版本与动态生效
  • Kafka ≥ 1.1.0 起，compression.type 属于 cluster-wide 动态参数，可在不重启 Broker 的情况下调整。