温馨提示×

kafka在linux怎配置

小樊
37
2026-10-02 09:18:51
栏目: 智能运维

下面按常见生产用法,给你一份在 Linux 上配置 Kafka(以 Kafka 3.x + 自带 Zookeeper 为例) 的简明实操指南。如果你用的是 KRaft 模式(无 Zookeeper) 或 Docker,我也可以单独说。


一、环境准备

1. 安装 JDK

Kafka 需要 Java 8+(推荐 Java 11/17)

java -version

若未安装:

yum install -y java-11-openjdk   # CentOS
# 或
apt install -y openjdk-11-jdk    # Ubuntu

2. 下载 Kafka

wget https://downloads.apache.org/kafka/3.7.0/kafka_2.13-3.7.0.tgz
tar -xzf kafka_2.13-3.7.0.tgz
mv kafka_2.13-3.7.0 /opt/kafka
cd /opt/kafka

二、基础配置(单节点)

1. 配置 Zookeeper

编辑:

vim config/zookeeper.properties

常用配置:

dataDir=/opt/kafka/zookeeper-data
clientPort=2181

创建目录:

mkdir -p /opt/kafka/zookeeper-data

2. 配置 Kafka

编辑:

vim config/server.properties

最关键的几个配置:

# broker 唯一 ID
broker.id=0

# 监听地址(非常重要)
listeners=PLAINTEXT://0.0.0.0:9092
advertised.listeners=PLAINTEXT://<服务器IP>:9092

# 日志存储目录
log.dirs=/opt/kafka/kafka-logs

# Zookeeper 地址
zookeeper.connect=localhost:2181

# 单节点可关副本检查
auto.create.topics.enable=true

创建目录:

mkdir -p /opt/kafka/kafka-logs

三、启动 Kafka

1. 启动 Zookeeper

nohup bin/zookeeper-server-start.sh config/zookeeper.properties > zookeeper.log 2>&1 &

2. 启动 Kafka

nohup bin/kafka-server-start.sh config/server.properties > kafka.log 2>&1 &

四、基础验证

1. 创建 Topic

bin/kafka-topics.sh --create \
  --topic test \
  --bootstrap-server localhost:9092 \
  --partitions 1 \
  --replication-factor 1

2. 查看 Topic

bin/kafka-topics.sh --list --bootstrap-server localhost:9092

3. 生产 / 消费消息

# 生产
bin/kafka-console-producer.sh \
  --topic test \
  --bootstrap-server localhost:9092

# 消费
bin/kafka-console-consumer.sh \
  --topic test \
  --from-beginning \
  --bootstrap-server localhost:9092

五、常见 Linux 配置优化(生产建议)

1. 文件描述符

ulimit -n 100000

或 /etc/security/limits.conf:

* soft nofile 100000
* hard nofile 100000

2. 内核参数

sysctl -w vm.swappiness=1
sysctl -w net.core.somaxconn=1024

六、开机自启(systemd 示例)

vim /etc/systemd/system/kafka.service
[Unit]
Description=Apache Kafka
After=network.target zookeeper.service

[Service]
Type=simple
ExecStart=/opt/kafka/bin/kafka-server-start.sh /opt/kafka/config/server.properties
ExecStop=/opt/kafka/bin/kafka-server-stop.sh
Restart=on-failure

[Install]
WantedBy=multi-user.target
systemctl daemon-reload
systemctl enable kafka

七、你接下来可能需要的

  • ✅ Kafka 集群(3 节点)
  • ✅ SASL / SSL 安全配置
  • ✅ KRaft 模式(无 Zookeeper)
  • ✅ Docker / K8s 部署
  • ✅ 生产参数调优

你可以直接告诉我:

“我要做 XXX 场景的 Kafka 配置”

0 踩