ubuntu上kafka如何进行安全设置

Ubuntu上Kafka安全设置实操指南

一核心安全目标与总体架构

在生产环境中建议同时启用：
- 认证：优先使用SASL/SCRAM-SHA-256/512（可动态管理用户、无需重启），避免明文密码的SASL/PLAIN；高安全场景可用SASL/OAUTHBEARER或Kerberos。
- 加密：启用SSL/TLS，生产环境使用SASL_SSL或SSL；必要时开启双向认证 mTLS。
- 授权：启用ACL细粒度控制（Topic/Group/Cluster 等资源的读、写、创建等）。
- 网络与系统：仅开放必要端口（如9093/9092/2181），使用UFW/安全组做来源白名单；以非 root运行，限制配置与数据目录权限；开启审计与监控。

二快速落地配置示例 SASL_SSL + SCRAM-SHA-512

前提：安装OpenJDK 11+，下载解压 Kafka（如**/opt/kafka_2.13-3.8.0**）。
步骤1 生成 SCRAM 用户（Broker 启动后可动态新增，无需重启）
- 示例创建管理员与业务用户（迭代次数建议≥8192）：
  - bin/kafka-configs.sh --bootstrap-server localhost:9093 --alter --add-config “SCRAM-SHA-256=[iterations=8192,password=AdminPass]” --entity-type users --entity-name admin
  - bin/kafka-configs.sh --bootstrap-server localhost:9093 --alter --add-config “SCRAM-SHA-256=[iterations=8192,password=AppPass]” --entity-type users --entity-name app
步骤2 配置 server.properties（仅保留安全监听器）
- listeners=SASL_SSL://0.0.0.0:9093
- advertised.listeners=SASL_SSL://<broker_public_ip_or_fqdn>:9093
- inter.broker.listener.name=SASL_SSL
- security.inter.broker.protocol=SASL_SSL
- sasl.enabled.mechanisms=SCRAM-SHA-256
- sasl.mechanism.inter.broker.protocol=SCRAM-SHA-256
- 可选（按监听器设置 JAAS，避免全局明文 JAAS）：
  - listener.name.sasl_ssl.scram-sha-256.sasl.jaas.config=org.apache.kafka.common.security.scram.ScramLoginModule required username=“admin” password=“AdminPass”;
步骤3 启动参数加载 JAAS（若未使用“按监听器”JAAS）
- 在 kafka-server-start.sh 顶部加入：export KAFKA_OPTS=“-Djava.security.auth.login.config=/opt/kafka_2.13-3.8.0/config/kafka_server_jaas.conf”
步骤4 生成证书并配置 SSL（示例自签 CA，生产建议企业 CA）
- 生成 CA：
  - mkdir -p config/certificates && cd config/certificates
  - openssl req -newkey rsa:2048 -nodes -keyout ca-key.pem -out ca-cert.pem -x509 -days 3650
- 生成 Broker 证书并签发：
  - openssl req -newkey rsa:2048 -nodes -keyout broker-key.pem -out broker-req.pem -subj “/CN=localhost”
  - openssl x509 -req -in broker-req.pem -CA ca-cert.pem -CAkey ca-key.pem -CAcreateserial -out broker-cert.pem -days 3650
- 导入到 JKS（Broker 信任 CA；客户端需信任 Broker 证书）：
  - keytool -import -alias ca -file ca-cert.pem -keystore truststore.jks -storepass changeit -noprompt
  - openssl pkcs12 -export -in broker-cert.pem -inkey broker-key.pem -out broker.p12 -name kafka -CAfile ca-cert.pem -caname root -password pass:changeit
  - keytool -importkeystore -deststorepass changeit -destkeypass changeit -destkeystore keystore.jks -srckeystore broker.p12 -srcstoretype PKCS12 -srcstorepass changeit -alias kafka
- server.properties 增加 SSL 项：
  - ssl.keystore.location=config/certificates/keystore.jks
  - ssl.keystore.password=changeit
  - ssl.key.password=changeit
  - ssl.truststore.location=config/certificates/truststore.jks
  - ssl.truststore.password=changeit
  - ssl.client.auth=required（开启 mTLS；如仅服务端校验可设为 requested）
  - ssl.enabled.protocols=TLSv1.2,TLSv1.3
步骤5 客户端配置（producer.properties/consumer.properties）
- security.protocol=SASL_SSL
- sasl.mechanism=SCRAM-SHA-256
- ssl.truststore.location=config/certificates/truststore.jks
- ssl.truststore.password=changeit
- mTLS 时增加：
  - ssl.keystore.location=config/certificates/client-keystore.jks
  - ssl.keystore.password=changeit
  - ssl.key.password=changeit
- sasl.jaas.config=org.apache.kafka.common.security.scram.ScramLoginModule required username=“app” password=“AppPass”;
步骤6 创建测试 Topic 与 ACL
- bin/kafka-topics.sh --create --bootstrap-server localhost:9093 --replication-factor 1 --partitions 1 --topic test_topic
- bin/kafka-acls.sh --bootstrap-server localhost:9093 --add --allow-principal User:app --operation Read --operation Write --topic test_topic
步骤7 验证
- 生产消息：bin/kafka-console-producer.sh --bootstrap-server <SASL_SSL_ADDR>:9093 --topic test_topic --producer.config config/producer.properties
- 消费消息：bin/kafka-console-consumer.sh --bootstrap-server <SASL_SSL_ADDR>:9093 --topic test_topic --from-beginning --consumer.config config/consumer.properties
- 未授权用户应被拒绝；必要时用 tcpdump 确认链路加密。

三防火墙与系统加固

防火墙最小化开放：仅放通9093（SASL_SSL），必要时放通2181（ZooKeeper，建议内网隔离）。
- sudo ufw allow 9093/tcp
- sudo ufw enable
以非 root运行 Kafka，目录权限最小化：
- sudo useradd -r -m -d /opt/kafka_2.13-3.8.0 -s /sbin/nologin kafka
- sudo chown -R kafka:kafka /opt/kafka_2.13-3.8.0
- sudo chmod -R 750 /opt/kafka_2.13-3.8.0/config /opt/kafka_2.13-3.8.0/data
禁用明文端口：生产环境不要保留PLAINTEXT监听，仅保留SASL_SSL/SSL。

四可选认证与扩展

SASL/PLAIN：实现简单，但密码在配置中明文存储，务必仅与TLS一起使用；适合测试或配合外部回调/凭据管理。
SASL/OAUTHBEARER：适配OAuth 2.0生态，适合与现有身份体系集成；默认实现仅用于非生产，生产需接入有效 Token 服务。
Kerberos（GSSAPI）：适用于企业统一认证（AD/LDAP），集成复杂度较高，安全性强。

五证书与 ACL 运维要点

证书管理：
- 使用企业 CA签发证书；定期轮换（建议周期≤365天）；妥善管控keystore/truststore口令；公网或自签 CA 场景，客户端可能需要将ssl.endpoint.identification.algorithm=（置空）以关闭主机名校验（仅测试或受控网络）。
ACL 最佳实践：
- 遵循最小权限原则；按应用/团队/环境分主体（如User:app、User:monitor）；定期审计与回收无用权限；对Cluster与Topic分别授权。
监控与审计：
- 关注失败认证、ACL 变更、异常连接等指标与日志；结合SIEM进行告警；证书轮换、ACL 调整先在测试环境验证再上线。

mTLS 时增加：

最新问答

相关标签