ubuntu kafka配置内存怎么设

在 Ubuntu 上配置 Kafka 的内存，主要涉及 JVM 堆内存 和 操作系统 / 磁盘相关参数。下面按常见场景说明。

一、Kafka 自身 JVM 内存（最重要）

Kafka 是 Java 应用，内存主要通过 JVM 堆大小控制。

1. 修改 Kafka 启动脚本

Kafka 启动时会读取：

/etc/kafka/server.properties
/opt/kafka/bin/kafka-server-start.sh

通常修改：

/opt/kafka/bin/kafka-server-start.sh

或（新版常见）：

/etc/kafka/kafka-server-start.sh

找到这一行：

export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"

示例（8G 内存机器）：

export KAFKA_HEAP_OPTS="-Xmx4G -Xms4G"

✅ 建议：

• 堆内存不超过 物理内存的 50%
• -Xms 和 -Xmx 设置成一样，避免抖动

二、通过 systemd 配置（Ubuntu 常见）

如果是通过 systemd 启动：

sudo systemctl edit confluent-kafka || sudo systemctl edit kafka

添加：

[Service]
Environment="KAFKA_HEAP_OPTS=-Xmx4G -Xms4G"

然后：

sudo systemctl daemon-reload
sudo systemctl restart kafka

三、Kafka 重要内存相关参数

在 server.properties 中：

1. 页缓存（依赖 OS）

Kafka 重度依赖 Linux Page Cache，不需要给 Kafka 太大堆。

✅ 建议：

• 留出大量内存给 OS
• 不要给 JVM 太多

2. 日志段大小

log.segment.bytes=1073741824   # 1GB

3. 刷盘策略（影响内存使用）

log.flush.interval.messages=10000
log.flush.interval.ms=1000

四、Linux 系统层面（Ubuntu）

1. 虚拟内存（swappiness）

Kafka 不希望用 swap：

sudo sysctl vm.swappiness=1

永久生效：

echo "vm.swappiness=1" | sudo tee -a /etc/sysctl.conf

2. 文件描述符

ulimit -n 100000

systemd 中：

[Service]
LimitNOFILE=100000

五、内存配置经验参考

六、检查是否生效

ps aux | grep kafka
jcmd <pid> VM.flags

如果你能告诉我：

• Kafka 版本
• 是否用 Confluent / 原生
• 机器内存大小
• 单节点还是集群

我可以给你一套 直接可抄的配置。