CentOS上Kafka配置常见误区及规避建议
Kafka的核心配置参数直接影响集群稳定性与性能，常见误区包括：
broker.id重复：每个Broker必须有唯一ID，若集群中存在重复ID，会导致Broker无法正常加入集群，引发“Broker ID conflict”错误。advertised.listeners配置错误：该参数用于向客户端公布Broker的可访问地址（需包含IP或域名+端口）。若配置为localhost或不可达地址，客户端将无法连接Broker，表现为“Connection refused”或“Leader not available”。log.dirs目录权限问题：Kafka会将消息日志存储在该目录下，若目录不存在或Kafka进程无写权限（如未用chown -R kafka:kafka /data/kafka/logs赋权），会导致Broker启动失败，报错“Permission denied”。zookeeper.connect地址错误：Kafka依赖Zookeeper管理元数据，若配置的Zookeeper地址（如localhost:2181）不正确或Zookeeper未启动，Broker将无法注册，无法提供服务。Kafka虽为非JVM密集型应用，但内存配置不合理仍会导致性能问题：
OutOfMemoryError。建议将堆内存设置为6-8GB（通过KAFKA_HEAP_OPTS="-Xmx6G -Xms6G"配置）。vm.max_map_count：Kafka的日志段文件（.log、.index、.timeindex）使用内存映射技术，若系统默认的vm.max_map_count（默认65535）过小，会导致“java.lang.OutOfMemoryError: Map failed”错误。需通过sysctl -w vm.max_map_count=262144增大该值（生产环境建议设置为262144及以上）。Zookeeper是Kafka集群的核心协调组件，常见误区包括：
systemctl status zookeeper检查）或集群中节点数少于3个（生产环境建议奇数个，如3或5），会导致Broker无法正常工作。zookeeper.session.timeout.ms设置过小：该参数定义Zookeeper会话超时时间（默认30秒），若网络波动或Broker处理慢，会话超时会导致Broker被踢出集群，引发“Session expired”错误。建议设置为30-60秒（如zookeeper.session.timeout.ms=60000）。Kafka的网络配置直接影响客户端连接与集群通信：
9092端口（listeners=PLAINTEXT://:9092），若该端口被其他应用（如Nginx、Redis）占用，Broker无法启动。可通过netstat -tuln | grep 9092检查端口占用情况，修改listeners参数为其他端口（如9093）。listeners与advertised.listeners混淆：listeners是Broker自身监听的地址（如PLAINTEXT://192.168.1.100:9092），advertised.listeners是客户端连接的地址（如PLAINTEXT://kafka.example.com:9092）。若两者配置不一致，客户端无法正确连接Broker。Kafka的高吞吐量依赖磁盘IO性能，常见误区包括：
log.retention.hours=168）或1GB数据（log.retention.bytes=1073741824），若磁盘空间不足（如小于100GB），会导致Broker因磁盘满而停止写入。建议根据业务需求调整保留策略（如log.retention.hours=24（保留1天）或log.retention.bytes=5368709120（保留5GB）），并通过kafka-delete-records.sh工具定期清理过期日志。/分区）或与数据库共用磁盘，会因磁盘竞争导致性能下降。建议使用独立的高性能磁盘（如SSD）作为日志目录（如/data/kafka/logs）。消费者组重平衡（Rebalance）会导致消费暂停，常见原因及误区：
session.timeout.ms=10秒），若消费者处理消息时间过长（如同步阻塞），未及时发送心跳，会被认为已下线，触发重平衡。建议将session.timeout.ms设置为30秒以上（如30000），同时调整max.poll.interval.ms（拉取消息间隔上限，默认5分钟）为300秒以上（如300000），避免因处理慢触发重平衡。RangeAssignor策略可能导致分区分配不均（如某些消费者分配到过多分区），增加重平衡概率。建议使用RoundRobinAssignor（轮询分配）或StickyAssignor（粘性分配，尽量保持分区分配不变），通过partition.assignment.strategy参数配置。Kafka的高可靠性依赖配置，常见误区包括：
acks设置过低：acks参数定义生产者发送消息的确认机制（0=不等待确认，1=等待Leader确认，all=等待所有ISR副本确认）。若设置为0或1，当Leader宕机且Follower未同步时，会导致消息丢失。建议生产环境设置为all（或-1），确保数据可靠性。min.insync.replicas设置过小：该参数定义写入时需要的最小ISR副本数（默认1），若设置为1，当Leader宕机且无Follower同步时，仍能写入数据，导致数据丢失。建议设置为2（min.insync.replicas=2），配合acks=all使用，提高数据可靠性。若Kafka集群暴露在公网或多人共用环境中，未配置安全机制会导致数据泄露或非法访问：
security.inter.broker.protocol=PLAINTEXT），任何人都可以发送/接收消息。建议启用SASL认证（如SCRAM-SHA-256），通过security.inter.broker.protocol=SASL_PLAINTEXT和listener.name.sasl_plaintext.scram-sha-256.sasl.jaas.config配置认证信息。kafka-acls.sh --add --allow-principal User:alice --operation Read --topic order_topic），防止非法访问。
