Debian Kafka怎样调参数

在 Debian 上运行 Kafka 时，“调参数”一般分为系统/OS 参数、JVM 参数、Kafka Broker 参数（server.properties）、Topic / Producer / Consumer 参数几个层面。下面按实战角度给你一份常用调优清单。

一、Debian 系统层参数（很关键）

1. 文件描述符（ulimit）

Kafka 对 fd 消耗很大：

# 查看
ulimit -n

# 修改（临时）
ulimit -n 100000

# 永久（Debian）
vim /etc/security/limits.conf

kafka  soft  nofile  100000
kafka  hard  nofile  100000

⚠️ 如果用 systemd 启动，还要加：

[Service]
LimitNOFILE=100000

2. 虚拟内存（避免 swap）

sysctl -w vm.swappiness=1

永久：

echo "vm.swappiness=1" >> /etc/sysctl.conf
sysctl -p

3. 磁盘 I/O 调度（SSD 推荐 none / mq-deadline）

cat /sys/block/sdX/queue/scheduler

4. 网络参数

sysctl -w net.core.somaxconn=4096
sysctl -w net.ipv4.tcp_max_syn_backlog=8192

二、JVM 参数（kafka 启动脚本）

Debian 通常装在：

/opt/kafka
/etc/kafka

修改：

vim /opt/kafka/bin/kafka-server-start.sh
# 或
vim /etc/default/kafka （如果有的话）

示例（堆内存）：

export KAFKA_HEAP_OPTS="-Xms4G -Xmx4G"

建议：

不要超过物理内存的 50%
不要用 Swap
G1 GC（Kafka 默认）

三、Kafka Broker 核心参数（server.properties）

路径一般是：

/etc/kafka/server.properties

1. 基础重要参数

broker.id=1
listeners=PLAINTEXT://:9092
log.dirs=/data/kafka-logs
num.network.threads=8
num.io.threads=16

2. 分区 & 副本

default.replication.factor=3
min.insync.replicas=2
num.partitions=6

3. 日志 & 刷盘策略（性能 vs 安全）

log.retention.hours=168
log.segment.bytes=1073741824
log.flush.interval.messages=10000
log.flush.interval.ms=1000

⚠️ 一般不要频繁 flush，让 OS page cache 处理

4. 生产环境推荐参数

acks=all
enable.idempotence=true
unclean.leader.election.enable=false

四、Topic 级别参数

kafka-topics.sh --bootstrap-server localhost:9092 \
--create --topic test \
--partitions 12 \
--replication-factor 3 \
--config retention.ms=604800000

常用：

retention.ms
segment.bytes
min.insync.replicas

五、Producer / Consumer 参数

Producer

acks=all
linger.ms=20
batch.size=16384
compression.type=snappy

Consumer

fetch.min.bytes=1024
max.poll.records=500

六、Debian 上常见坑

systemd 启动不读 ulimit → 必须在 service 文件加 LimitNOFILE
磁盘挂载没 noatime
```
mount -o remount,noatime /data
```
僵尸 Replica → 检查 under-replicated partitions

七、查看 & 验证

kafka-broker-api-versions.sh --bootstrap-server localhost:9092
kafka-topics.sh --describe --topic test --bootstrap-server localhost:9092

如果你愿意，可以告诉我：

Kafka 版本（2.x / 3.x）
单机能撑多少 TPS
是否上 SSD / RAID

我可以直接给你一套可直接用的 server.properties + systemd 配置。