Linux HDFS的安全性如何设置

Linux 上 HDFS 安全性设置

一 认证与授权

• 启用 Kerberos 强认证：在 core-site.xml 设置 hadoop.security.authentication=kerberos，在 hdfs-site.xml 为 NameNode/DataNode 配置 dfs.namenode.kerberos.principal、dfs.namenode.keytab.file、dfs.datanode.kerberos.principal、dfs.datanode.keytab.file 等；集群所有节点需加入 KDC 域并统一时间（建议 NTP）。
• 启用 HDFS 权限检查：在 hdfs-site.xml 设置 dfs.permissions.enabled=true，使用 POSIX 风格的 rwx 模型控制访问。
• 配置 ACL 细粒度授权：对关键目录设置 ACL，例如为用户 alice 授予读写执行：hdfs dfs -setfacl -m user:alice:rwx /data；查看 ACL：hdfs dfs -getfacl /data。
• 规划 超级用户与代理用户：默认 HDFS 超级用户为 hdfs；为服务代理（如 Oozie、Hive）配置 hadoop.proxyuser..hosts 与 hadoop.proxyuser..groups，遵循最小权限原则。
• 企业级授权可选 Apache Ranger：在 Ranger 中集中管理 HDFS 策略，实现按用户/组/路径/操作的细粒度授权与审计联动。

二 加密与数据保护

• 传输层加密：启用 TLS/SSL 对客户端与 NameNode/DataNode 之间的通信加密，保护数据在网络传输中的机密性与完整性。
• 静态数据加密：使用 HDFS 加密区域（Encryption Zones） 对敏感目录启用透明加密，写入时加密、读取时解密，对业务透明。
• 数据完整性与可用性：HDFS 在写入时生成 校验和 并在读取时校验；通过多副本机制提升容错，降低数据损坏或丢失的风险。

三 审计与合规

• 启用 审计日志：记录 读/写/删除 等关键操作，便于安全审计与追溯；可按需调整滚动与保留策略，例如 dfs.namenode.audit.log.maxsize、dfs.namenode.audit.log.maxbackupindex，并设置日志路径（如 hadoop.security.audit.log.path）。
• 集中审计与策略联动：结合 Ranger/Audit 组件，将 HDFS 审计与告警集中展示，满足合规要求与事后取证。

四 网络安全与运行安全

• 网络边界防护：通过 防火墙/安全组 仅放通必要端口与来源网段，限制对 HDFS 服务（如 NameNode/DataNode 端口）的访问。
• 安全模式与变更管控：在 NameNode 启动或维护时利用 安全模式 保证元数据一致性，变更窗口内只读，变更完成后再退出，降低不一致风险。
• 持续监控与告警：部署 监控/告警（如 Prometheus + Grafana）对异常访问、权限变更、服务异常进行监测与通知，提升可观测性与响应速度。

五 快速落地清单

• 规划与账号：梳理业务账号、用户组与目录结构，确定 Kerberos 领域与 KDC，统一 NTP 时间。
• 启用认证与权限：开启 Kerberos 与 dfs.permissions.enabled，为 NN/DN 配置 keytab，按目录设置 ACL。
• 加密与密钥：对敏感数据启用 Encryption Zones，妥善管理 KDC/keytab 与加密材料。
• 审计与网络：启用并验证 审计日志，配置 防火墙/安全组 最小化放通。
• 验证与演练：进行权限/加密/网络连通性验证，定期审计与演练故障与恢复流程。