centos配置kafka要注意什么

在CentOS上配置Kafka时，有几个关键步骤和注意事项需要考虑，以确保Kafka的高效性、安全性和稳定性。以下是一些详细的配置步骤和技巧：

安装和配置Zookeeper

安装JDK：Kafka需要Java运行环境，首先需要安装JDK。可以使用以下命令安装OpenJDK 8：
```
sudo yum install java-1.8.0-openjdk-devel
```

配置Zookeeper：Kafka依赖Zookeeper，需要先启动Zookeeper。可以下载并解压Zookeeper安装包，然后启动Zookeeper服务。

wget https://downloads.apache.org/zookeeper/zookeeper-3.7.0/apache-zookeeper-3.7.0-bin.tar.gz
tar -xzvf apache-zookeeper-3.7.0-bin.tar.gz
cd apache-zookeeper-3.7.0
./bin/zookeeper-server-start.sh config/zookeeper.properties

安装Kafka

下载Kafka：从Apache Kafka官网下载最新版本的Kafka安装包。
```
wget https://downloads.apache.org/kafka/3.5.2/kafka_2.12-3.5.2.tgz
```
解压Kafka：使用tar命令解压下载的Kafka压缩包。
```
tar -xzvf kafka_2.12-3.5.2.tgz -C /usr/local/kafka
```

配置Kafka：进入Kafka的config目录，编辑server.properties文件。以下是一些关键配置项：

broker.id=0
listeners=PLAINTEXT://:9092
log.dirs=/usr/local/kafka/kafka-logs
zookeeper.connect=localhost:2181

启动Kafka服务

在Kafka的bin目录下，使用以下命令启动Kafka服务：

nohup /usr/local/kafka/bin/kafka-server-start.sh /usr/local/kafka/config/server.properties &

验证Kafka配置

创建一个Topic来测试Kafka：

bin/kafka-topics.sh --create --topic test --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1

发送和接收消息以验证Kafka是否正常工作：

bin/kafka-console-producer.sh --topic test --bootstrap-server localhost:9092
bin/kafka-console-consumer.sh --topic test --from-beginning --bootstrap-server localhost:9092

配置防火墙

如果你的服务器有防火墙，确保开放Kafka使用的端口（默认是9092）：

sudo firewall-cmd --zone public --add-port 9092/tcp --permanent
sudo firewall-cmd --reload

监控和管理

Kafka提供了多种监控和管理工具，例如JMX、Kafka Manager等，可以根据需要进行配置和使用。

安全性配置

配置认证：可以配置Kafka的认证机制，例如使用SASL。需要创建kafka_server_jaas.conf文件，并在启动Kafka时指定该文件。
使用SSL加密：通过配置security.protocol为SSL，并设置ssl.truststore.location和ssl.truststore.password来启用SSL/TLS。

性能优化

副本机制优化：监控ISR变动，调整副本同步阈值，慎用unclean.leader.election.enable。
消费者组重平衡优化：调整会话超时时间，避免“集体跳水”，设置静态成员资格。
操作系统优化：虚拟内存设置，磁盘I/O优化，文件系统选择。
网络优化：提高网络带宽和降低延迟，使用高性能网卡，启用压缩。