HDFS在Ubuntu上的安全设置怎么做

Ubuntu上HDFS安全设置实操指南

一 身份与访问控制

• 启用强认证：部署并配置Kerberos，在集群各节点安装krb5-user，编辑**/etc/krb5.conf设置默认领域（如：EXAMPLE.COM）。将 Hadoop 切换为 Kerberos 认证，在core-site.xml**设置：
  • hadoop.security.authentication=kerberos 在hdfs-site.xml为主机配置主体，例如：
  • dfs.namenode.kerberos.principal=nn/_HOST@EXAMPLE.COM 完成后用kinit获取票据并验证访问。
• 启用权限与ACL：在hdfs-site.xml开启权限与ACL：
  • dfs.permissions.enabled=true
  • dfs.namenode.acls.enabled=true
  • dfs.datanode.acls.enabled=true 使用 HDFS 命令管理权限与ACL：
  • hdfs dfs -chmod 700 /user/hadoopuser
  • hdfs dfs -setfacl -m user:alice:rwx /data
  • hdfs dfs -getfacl /data
• 启用审计日志：在core-site.xml配置审计输出与滚动策略：
  • hadoop.security.audit.log.path=/var/log/hadoop-hdfs/audit.log
  • hadoop.security.audit.log.maxsize=1000000
  • hadoop.security.audit.log.maxbackupindex=10
    以上配置可显著提升身份可信度与访问细粒度控制能力。

二 加密与数据保护

• 传输加密：为客户端与服务端启用SSL/TLS，保护数据在传输过程中的机密性与完整性。
• 存储加密：启用HDFS 透明加密（TDE），对落盘数据进行自动加解密，对用户透明。
• 数据完整性：启用校验和机制（如 MD5/SHA-1）以发现传输或存储过程中的篡改。
• 备份与恢复：制定定期备份与异地容灾策略，并定期演练恢复流程，降低数据丢失风险。
  以上措施覆盖数据在传输、静止与可用性三个维度的核心安全需求。

三 网络安全与主机加固

• 防火墙：使用ufw仅放行必要端口（如 8020/9000/50070/50075/50470 等，按实际服务端口调整），最小化暴露面。
• 系统更新与补丁：启用unattended-upgrades实现自动安全更新，及时修复漏洞。
• SSH 加固：更改默认端口、禁用root登录、限制可登录用户与密钥登录。
• 强制访问控制：启用AppArmor（Ubuntu 默认），必要时结合 SELinux 策略，限制进程对敏感路径与能力的访问。
• 网络分段与隔离：将敏感数据与其他业务隔离，按最小权限原则划分VPC/安全组与访问控制策略。
• 监控与告警：部署实时监控与告警，对异常访问、失败登录、权限变更等进行及时响应。
  这些措施从网络边界到主机内核层层加固，降低攻击面与横向移动风险。

四 快速检查清单