Kafka 在 Debian 上的部署注意事项

在 Debian 上部署 Kafka 时，有几个关键的注意事项需要考虑，以确保系统的稳定性、安全性和性能。以下是一些主要的注意事项：

1. 环境准备

安装 Java：Kafka 是基于 Java 开发的，因此需要安装 Java 运行环境。推荐安装 OpenJDK 8 或更高版本。
```
sudo apt update
sudo apt install openjdk-8-jdk
java -version
```

安装 Zookeeper：Kafka 依赖于 Zookeeper 进行集群管理和协调。可以手动安装 Zookeeper 或使用 Docker 快速启动。

wget https://downloads.apache.org/zookeeper/zookeeper-3.8.0/apache-zookeeper-3.8.0-bin.tar.gz
tar -xzf apache-zookeeper-3.8.0-bin.tar.gz
sudo mv apache-zookeeper-3.8.0 /opt/zookeeper

2. 配置 Kafka

编辑 server.properties 文件：这是 Kafka 的主要配置文件，位于 Kafka 安装目录的 config 文件夹中。以下是一些关键配置项：
- broker.id：每个 Broker 在集群中的唯一标识。
- listeners：定义 Kafka 监听的地址和端口。
- log.dirs：指定消息日志的存储路径。
- advertised.listeners：定义 Kafka 向外广播的监听地址和端口。
- zookeeper.connect：定义 Zookeeper 的连接地址。
```
broker.id=1
listeners=PLAINTEXT://:9092
log.dirs=/opt/kafka/logs
advertised.listeners=PLAINTEXT://your_server_ip:9092
zookeeper.connect=localhost:2181
```

3. 启动 Kafka 和 Zookeeper

启动 Zookeeper：

/opt/kafka/bin/zookeeper-server-start.sh config/zookeeper.properties

启动 Kafka：

/opt/kafka/bin/kafka-server-start.sh config/server.properties

4. 防火墙和网络安全

配置防火墙：确保防火墙允许 Kafka 和 Zookeeper 使用的端口通信。
```
sudo ufw allow 9092/tcp
sudo ufw enable
```

使用 SSL/TLS：为了增强安全性，可以配置 Kafka 使用 SSL/TLS 加密通信。

# 编辑 bin/kafka-server-start.sh 文件，添加 SSL 配置
-Djavax.net.ssl.keyStore=/path/to/kafka.server.keystore.jks
-Djavax.net.ssl.keyStorePassword=your_keystore_password
-Djavax.net.ssl.keyPassword=your_key_password

5. 监控和管理

监控工具：可以使用 Kafka 自带的命令行工具进行基本的集群管理，也可以使用第三方监控工具如 Prometheus 和 Grafana 进行更高级的监控和管理。
```
# 使用 Kafka 自带的命令行工具验证集群状态
./bin/kafka-topics.sh --list --zookeeper localhost:2181
```

6. 日志和配置轮转

配置日志轮转：以防止日志文件过大。

# 编辑 log4j.properties 文件，配置日志轮转策略
log4j.appender.file=org.apache.log4j.RollingFileAppender
log4j.appender.file.MaxFileSize=10MB
log4j.appender.file.MaxBackupIndex=10

7. 开机自启动（可选）

使用 systemd 设置开机自启动：

sudo nano /etc/systemd/system/zookeeper.service
sudo nano /etc/systemd/system/kafka.service
sudo systemctl enable zookeeper
sudo systemctl start zookeeper
sudo systemctl enable kafka
sudo systemctl start kafka