Ubuntu Kafka如何设置安全认证

在Ubuntu上设置Kafka的安全认证，通常涉及以下几个步骤：

1. 启用SSL/TLS：

   • 生成SSL证书和密钥。
   • 配置Kafka服务器以使用SSL/TLS。

2. 配置SASL：

   • 选择并配置SASL机制（如PLAIN、SCRAM-SHA-256等）。
   • 创建必要的JAAS配置文件。
   • 配置Kafka服务器和客户端使用SASL认证。

3. 启用ACLs（可选）：

   • 配置访问控制列表（ACLs）以限制对Kafka资源的访问。

下面是一个详细的步骤指南：

1. 启用SSL/TLS

生成SSL证书和密钥

你可以使用OpenSSL来生成自签名证书和密钥。

# 创建一个目录来存储证书和密钥
mkdir -p /etc/kafka/ssl

# 生成服务器证书和密钥
openssl req -newkey rsa:2048 -nodes -keyout /etc/kafka/ssl/server.key -x509 -days 365 -out /etc/kafka/ssl/server.crt

# 生成CA证书和密钥
openssl req -newkey rsa:2048 -nodes -keyout /etc/kafka/ssl/ca.key -x509 -days 365 -out /etc/kafka/ssl/ca.crt

# 生成客户端证书和密钥
openssl req -newkey rsa:2048 -nodes -keyout /etc/kafka/ssl/client.key -x509 -days 365 -out /etc/kafka/ssl/client.crt

配置Kafka服务器

编辑/etc/kafka/server.properties文件，添加以下配置：

# 启用SSL
listeners=SSL://:9093
security.inter.broker.protocol=SSL

# SSL配置
ssl.keystore.location=/etc/kafka/ssl/server.keystore.jks
ssl.keystore.password=your_keystore_password
ssl.key.password=your_key_password
ssl.truststore.location=/etc/kafka/ssl/server.truststore.jks
ssl.truststore.password=your_truststore_password

# 启用SSL协议
ssl.enabled.protocols=TLSv1.2,TLSv1.3
ssl.cipher.suites=TLS_AES_128_GCM_SHA256,TLS_AES_256_GCM_SHA384

2. 配置SASL

选择并配置SASL机制

这里以PLAIN机制为例。

创建JAAS配置文件

创建一个JAAS配置文件/etc/kafka/kafka_server_jaas.conf：

KafkaServer {
    org.apache.kafka.common.security.plain.PlainLoginModule required
    username="admin"
    password="admin-secret"
    user_admin="/etc/kafka/users/admin.properties";
};

创建用户配置文件

创建一个用户配置文件/etc/kafka/users/admin.properties：

admin=admin-secret

配置Kafka服务器

编辑/etc/kafka/server.properties文件，添加以下配置：

# 启用SASL
listeners=SASL_SSL://:9093
security.inter.broker.protocol=SASL_SSL

# SASL配置
sasl.mechanism.inter.broker.protocol=PLAIN
sasl.enabled.mechanisms=PLAIN

# JAAS配置文件位置
sasl.jaas.config=/etc/kafka/kafka_server_jaas.conf

配置Kafka客户端

编辑客户端的配置文件（例如/etc/kafka/client.properties），添加以下配置：

# 启用SASL
security.protocol=SASL_SSL

# SASL配置
sasl.mechanism=PLAIN
sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username="admin" password="admin-secret";

3. 启用ACLs（可选）

配置Kafka服务器

编辑/etc/kafka/server.properties文件，添加以下配置：

# 启用ACLs
authorize=config

# ACL配置
acl.authorizer=org.apache.kafka.common.security.acl.AclAuthorizer
allow.everyone.if.no.acl.found=true

创建ACL规则

使用Kafka提供的命令行工具创建ACL规则：

kafka-acls --authorizer-properties zookeeper.connect=localhost:2181 \
    --add --allow-principal User:admin --operation Read --topic test-topic

通过以上步骤，你可以在Ubuntu上为Kafka设置安全认证。请根据你的具体需求调整配置。