Debian HDFS配置如何安全设置

Debian 上 HDFS 的安全设置清单

一 身份与访问控制

• 启用强认证
  将 Hadoop 切换为 Kerberos 认证，生产环境强烈建议始终开启。
  配置示例：
  core-site.xml
  hadoop.security.authenticationkerberos
  hdfs-site.xml
  dfs.namenode.kerberos.principalnn/_HOST@REALM
  dfs.datanode.kerberos.principalhdfs/_HOST@REALM
  说明：使用 _HOST 占位符可简化多节点部署；REALM 需与 KDC 一致。

• 服务与 Web UI 的 Keytab
  为每个服务创建 Principal 并分发 keytab，确保进程在无交互下安全登录；Web UI 使用独立的 HTTP 主体。
  示例：
  kadmin.local -q “addprinc -randkey hdfs/_HOST@YOUR_REALM”
  kadmin.local -q “ktadd -k /etc/hadoop/hdfs.keytab hdfs/_HOST@YOUR_REALM”
  kadmin.local -q “addprinc -randkey HTTP/_HOST@YOUR_REALM”
  kadmin.local -q “ktadd -k /etc/hadoop/http.keytab HTTP/_HOST@YOUR_REALM”
  hdfs-site.xml
  dfs.web.authentication.kerberos.principalHTTP/_HOST@YOUR_REALM
  dfs.web.authentication.kerberos.keytab/etc/hadoop/http.keytab
  提示：将 keytab 权限设为 600，属主为对应服务运行用户。

• 启用权限校验与默认权限
  保持 HDFS 权限开关开启，并设置合理的 umask，遵循最小权限原则。
  hdfs-site.xml
  dfs.permissions.enabledtrue
  core-site.xml
  fs.permissions.umask-mode0027
  说明：0027 常用于“同组可读、其他无权限”的场景，可按团队策略调整。

• 细粒度授权与组映射
  对敏感目录启用 ACL，精细化控制用户/组访问；必要时使用 LDAPGroupsMapping 统一账号体系。
  示例：
  hdfs dfs -setfacl -m user:alice:r-x /data/sensitive
  hdfs dfs -setfacl -m group:analysts:r-- /data/sensitive
  组映射（core-site.xml）：
  hadoop.security.group.mappingorg.apache.hadoop.security.LdapGroupsMapping
  提示：ACL 与 umask 共同决定最终权限，变更后可用 -getfacl 校验。

二 传输与静态数据加密

• 传输层加密（HTTPS）
  为 NameNode/DataNode Web 与 RPC 启用 TLS/HTTPS，避免凭据与数据在网络中被窃听。
  hdfs-site.xml
  dfs.http.policyHTTPS_ONLY
  dfs.datanode.https.port50475
  实施要点：为 NN/DN 生成 keystore/truststore，并在 hadoop-ssl-server.xml/hadoop-ssl-client.xml 中配置；浏览器访问 9870/50475 应出现有效证书。

• 静态数据加密（TDE）
  对敏感目录启用 Encryption Zones，数据落盘自动加密，密钥由 Hadoop Key Provider 管理。
  示例：
  hadoop key create mykey -size 256
  hdfs crypto -createZone -keyName mykey -path /securezone
  hdfs crypto -listZones
  说明：创建加密区前需先配置 Key Provider（如 JCEKS 或 Ranger KMS）；迁移存量数据时按目录粒度逐步切换至加密区。

三 审计与监控

• 启用与集中审计
  开启 HDFS 审计日志（AccessControlException、权限变更、加密操作等），并接入 集中日志平台（如 rsyslog/ELK），保留周期不少于 90 天。
  监控建议：关注指标 SecurityMetrics.AuthFailures、PermissionDenied、EncryptionMetrics.EncryptionOps、ACLMetrics.ACLModifications，对异常增长设置告警。

• 安全模式与块健康
  理解 安全模式 的作用：NameNode 启动时会自动进入，待满足最小副本数与块报告率后自动退出；运维期间避免强制退出，以免数据一致性受损。

四 Debian 系统加固与运维要点

• 系统与进程安全

  • 以最小权限运行服务（如 hdfs 用户），禁用不必要的 root 直接启动。
  • 加固 SSH（禁用 root 登录、使用 ed25519 密钥、限制登录用户）。
  • 启用 防火墙（UFW/iptables），仅开放 8020/9000（RPC）、50070/9870（HTTP/HTTPS）、50075/50475（DN HTTP/HTTPS）等必要端口。
  • 启用 AppArmor/SELinux（Debian 常用 AppArmor），为 Java 进程设置最小能力。
  • 将 JCE Unlimited Strength Jurisdiction Policy（如适用）与最新安全补丁纳入变更流程。

• 密钥与凭据管理

  • Keytab 集中托管、定期轮换（建议 ≤90 天），变更后滚动重启相关服务。
  • 对 KDC、Ranger/KMS 等核心凭据实施离线备份与双人保管。
  • 使用 Debian 的 APT 签名与本地仓库镜像，避免供应链风险。

• 上线前自检清单

  • 使用 kinit 获取票据后，验证 HDFS 读写、创建/删除目录、ACL 变更是否正常。
  • 通过浏览器访问 HTTPS UI，确认证书有效且无法用 HTTP 明文访问。
  • 对敏感目录执行 hdfs crypto -listZones 与 -getfacl 校验加密与授权策略。
  • 在日志平台验证审计事件是否完整入库，并演练一次凭据轮换与证书更新。

五 关键配置速查表

以上配置项与示例可直接用于 Debian 上的 Hadoop 3.x 环境，按实际 REALM、主机名、端口与目录 调整。