ubuntu kafka配置怎样限流

在 Ubuntu 上部署的 Kafka，常见“限流”主要有 三种场景，下面分别说明配置方式（以 Kafka 2.x / 3.x 通用为例，配置文件一般在 /opt/kafka/config/ 或 /etc/kafka/）。

一、Producer / Consumer 客户端限流（应用层）

1. Producer 限流

在 producer 配置 中限制发送速率：

# 每秒最多发送字节数（如 1MB/s）
max.request.size=1048576

# 限制发送吞吐（配合 linger.ms）
linger.ms=50
batch.size=16384

更准确的限流可在应用代码里控制（如令牌桶）。

2. Consumer 限流

Consumer 本身不提供“速率限制”参数，一般做法：

• 控制 max.poll.records
• 在代码中 sleep / 限流

max.poll.records=500

二、Kafka Broker 端限流（推荐 ✅）

Kafka 原生支持 配额（Quota），可限制：

• 生产速率
• 消费速率
• 按 user / client / topic

1. 全局限流（所有 client）

编辑 server.properties：

quota.producer.default=1048576     # 1MB/s
quota.consumer.default=2097152     # 2MB/s

重启 Kafka：

sudo systemctl restart kafka

2. 按用户 / client 限流（kafka-configs）

# 限制用户 appuser 生产 1MB/s
kafka-configs.sh --bootstrap-server localhost:9092 \
  --alter --add-config 'producer_byte_rate=1048576' \
  --entity-type users --entity-name appuser

# 限制某 clientId 消费 2MB/s
kafka-configs.sh --bootstrap-server localhost:9092 \
  --alter --add-config 'consumer_byte_rate=2097152' \
  --entity-type clients --entity-name my-consumer

查看：

kafka-configs.sh --bootstrap-server localhost:9092 --describe --entity-type users

3. 按 Topic 限流

kafka-configs.sh --bootstrap-server localhost:9092 \
  --alter --add-config 'producer_byte_rate=1048576' \
  --entity-type topics --entity-name my-topic

三、网络层限流（系统 / 防火墙）

1. 使用 tc（Linux 流量控制）

限制 9092 端口带宽（示例 5Mbps）：

sudo tc qdisc add dev eth0 root tbf rate 5mbit burst 32kbit latency 400ms

⚠️ 影响所有流量，需谨慎。

2. 使用 iptables + hashlimit（不常用）

iptables -A INPUT -p tcp --dport 9092 -m hashlimit \
  --hashlimit-above 1mb/s -j DROP

四、常见推荐方案

如果你能说明：

• Kafka 版本
• 限流对象（生产 / 消费 / 用户 / topic）
• 目标速率

我可以给你 精确配置示例。