CentOS HDFS配置如何实现安全加固

CentOS 上 HDFS 安全加固实施清单

一 身份与访问控制

• 启用强认证：将 Hadoop 安全模式设为 Kerberos，在所有节点部署 KDC，统一配置 /etc/krb5.conf，服务使用 keytab 自动续期，禁止明文口令登录与简单认证。
• 启用权限校验：在 hdfs-site.xml 中开启 dfs.permissions.enabled=true，统一以 hdfs 超级用户运维，按业务划分 HDFS 管理员组与业务组。
• 精细化授权：在目录上配置 ACL 实现细粒度控制，遵循最小权限原则；对共享目录设置 粘滞位（sticky bit） 防止非属主删除他人文件。
• 统一身份映射：配置 hadoop.security.group.mapping（如 JniBasedUnixGroupsMappingWithFallback 或 LdapGroupsMapping），确保 NameNode 侧组解析一致。
• 审计与合规：启用 HDFS 审计日志，记录用户、操作类型与时间，集中到 rsyslog/systemd-journald 并落盘留存，定期审计关键目录与敏感操作。

二 加密与网络安全

• 传输加密：启用 RPC/HTTPS/数据传输加密，在 hdfs-site.xml 设置 dfs.encrypt.data.transfer=true，并配置 SSL/TLS 证书与信任链，保护客户端与服务端、节点间通信。
• 存储加密：启用 HDFS 透明数据加密（TDE），为敏感目录/租户创建 EZ（Encryption Zone） 与 DEK/KMS 密钥分层管理，确保磁盘被盗或介质外流时数据仍受保护。
• 网络边界：使用 firewalld/iptables 仅开放必要端口（如 NameNode RPC 8020/9870、DataNode 9866/9864/50010、JournalNode 8485/8480 等），按最小暴露面收敛；与业务网/管理网分区分域。
• 主机加固：关闭不必要的服务与端口，启用 SELinux（或严格策略），对 /etc/passwd、/etc/shadow、/etc/group、/etc/gshadow 等关键文件设置不可更改属性（如 chattr +i），降低本地提权与篡改风险。

三 系统与运维安全

• 账户与会话：清理非必要超级用户，强制 复杂口令策略（≥10 位，含大小写数字特殊字符），设置 root TMOUT 自动注销，限制 su 仅授权组使用，禁用 Ctrl+Alt+Delete 重启组合键。
• 时间同步：全集群启用 NTP/chrony，确保 NameNode 与 DataNode 时钟偏差在毫秒级，避免因时间漂移导致 Kerberos 票据异常与权限校验失败。
• 补丁与基线：通过 yum/dnf 及时更新 CentOS 与 Hadoop 安全补丁，按基线加固（登录审计、命令审计、最小权限服务账户）。
• 备份与演练：对 NameNode 元数据（fsimage/edits） 与关键业务目录制定定期备份与异地存放策略，定期演练恢复流程与故障切换。

四 关键配置与命令示例

• 启用权限与传输加密
  • hdfs-site.xml

    <property>
      <name>dfs.permissions.enabled</name>
      <value>true</value>
    </property>
    <property>
      <name>dfs.encrypt.data.transfer</name>
      <value>true</value>
    </property>
    

• 目录权限与 ACL
  • 创建业务目录并收紧权限

    hdfs dfs -mkdir -p /data/tenantA
    hdfs dfs -chown tenantA:hadoop /data/tenantA
    hdfs dfs -chmod 750 /data/tenantA
    

  • 为特定用户/组授予细粒度权限

    hdfs dfs -setfacl -m user:alice:r-x /data/tenantA
    hdfs dfs -setfacl -m group:analysts:r-- /data/tenantA
    hdfs dfs -getfacl /data/tenantA
    

• 安全模式管理（维护窗口）

  hdfs dfsadmin -safemode get
  hdfs dfsadmin -safemode enter
  hdfs dfsadmin -safemode leave
  

• 防火墙放行示例（firewalld）

  firewall-cmd --permanent --add-rich-rule='rule family="ipv4" source address="10.0.1.0/24" port port="8020" protocol="tcp" accept'
  firewall-cmd --permanent --add-rich-rule='rule family="ipv4" source address="10.0.1.0/24" port port="9870" protocol="tcp" accept'
  firewall-cmd --reload
  

• 关键文件防篡改

  chattr +i /etc/passwd /etc/shadow /etc/group /etc/gshadow
  

• 时间同步

  timedatectl set-ntp true
  chronyc tracking
  

五 验证与持续运营

• 认证与授权：使用 kinit/keytab 获取票据后执行 HDFS 操作，验证 Kerberos 生效；故意使用无票据或越权账号验证拒绝。
• 加密与端口：用 tcpdump/openssl s_client 验证 RPC/HTTPS/数据传输 是否加密；核对 firewalld 仅开放白名单端口。
• 权限与 ACL：以不同用户/组访问受控目录，验证 POSIX 权限与 ACL 生效；检查 sticky bit 对共享目录的删除保护。
• 审计与告警：在 NameNode 与审计日志 中检索敏感操作（如 chmod/chown/rmr），验证日志采集与留存；配置 监控告警（异常访问、失败登录、磁盘/NameNode 健康）。
• 例行巡检：定期核查 KDC/keytab 有效期、HDFS 超级用户清单、备份可用性与恢复演练结果，形成闭环。