以下是在Debian上提升Kafka性能的关键措施:
buffer.memory≥64MB。num.partitions),使其与消费者线程数匹配,提高并行度。default.replication.factor),平衡数据可靠性和吞吐量(通常3副本)。batch.size建议100KB-200KB,linger.ms建议10-100ms)。snappy、lz4)减少网络传输量。fetch.min.bytes(建议1MB)和fetch.max.wait.ms(建议1000ms),减少拉取频率。max.poll.records,避免单次拉取过多消息导致内存压力。num.io.threads为CPU核数的50%,提升磁盘写入效率。log.dirs多目录存储,分散磁盘负载。net.core.rmem/wmem)和文件句柄数,提升网络吞吐量。sendfile特性,减少数据拷贝开销。acks要求,或关闭SASL/SSL以减少开销。注:需根据业务场景(吞吐量/延迟/可靠性优先级)调整参数,并在测试环境验证后再应用到生产环境。