Hadoop如何在Linux实现数据安全存储

在 Linux 上落地 Hadoop 数据安全存储的要点

在 Linux 环境中，Hadoop/HDFS 的数据安全存储需要覆盖 身份鉴别、访问控制、加密、完整性、审计与运维 多个层面，建议按以下分层方案实施与加固。

一、分层安全架构与关键措施

二、关键配置步骤

• 启用 Kerberos 强认证

  1. 完成 KDC 部署与 realm 规划；2) 为 NameNode/DataNode/ResourceManager/HistoryServer 等创建服务 principal（形如 Service/_HOST@REALM）与 keytab；3) 在所有节点配置 正向/反向 DNS；4) 统一设置 core-site.xml：
  • hadoop.security.authentication=kerberos
  • hadoop.security.authorization=true
  • hadoop.rpc.protection=authentication|integrity|privacy（按需选择完整性或保密性）
  5. 配置 hdfs-site.xml：
  • dfs.block.access.token.enable=true
  • dfs.namenode.kerberos.principal=nn/_HOST@REALM
  • dfs.namenode.keytab.file=/etc/security/keytab/nn.service.keytab
  • dfs.namenode.kerberos.internal.spnego.principal=HTTP/_HOST@REALM（Web UI SPNEGO）
  6. 启动服务前用 kinit 或 keytab 获取票据，验证服务间互通与身份校验生效。

• 启用 HDFS 透明加密（Encryption Zones）

  1. 规划加密根目录（如 /secure），准备 EZ Key 并纳入 KMS/HSM 管理；2) 在 hdfs-site.xml 启用加密相关服务与 KMS 连接；3) 创建加密区并指定密钥：
  • hdfs crypto -createZone -keyName myEZKey -path /secure
  4. 将待保护目录移动到加密区，或按需对现有数据启用加密；5) 验证读写正常、密钥轮换与访问审计生效。

• 启用传输加密（SSL/TLS）

  1. 为 RPC、HTTP/HTTPS（Web UI 与 REST） 配置 TLS 证书 与信任链；2) 在 core-site.xml / hdfs-site.xml 启用 SSL/TLS 并指向证书与密钥；3) 客户端与服务器端启用加密通道，验证链路加密与证书校验。

• 访问控制与审计

  1. 基于 POSIX 与 ACLs 进行目录/文件授权，必要时通过 Ranger/Sentry 实施 RBAC 与策略集中管理；2) 启用 HDFS 审计日志，将审计日志接入集中式日志平台，定期审计敏感路径与特权操作。

三、运维与加固清单

• 数据安全运维

  • 定期 轮换密钥（EZ Key/KMS） 与 服务 keytab，保留轮换审计记录；
  • 对 NameNode/DataNode 与关键进程实施 最小权限 与 Linux 加固（如禁用不必要服务、限制 su/sudo）；
  • 及时 打补丁 修复 Hadoop 与操作系统漏洞；
  • 配置 防火墙/安全组 仅开放必要端口（如 8020/9000、50070/9870、50075 等按需收敛）；
  • 启用 监控与告警（如 Prometheus/Grafana），对异常访问、失败登录、NameNode/DataNode 异常、加密/解密失败等进行告警。

• 备份与恢复

  • 制定 定期备份 与 异地容灾 策略，定期演练 恢复流程；
  • 对关键元数据与加密密钥进行 离线/多份 保管，确保灾难场景可恢复。

四、常见操作命令示例

• 安全模式管理（用于维护窗口或恢复一致性，非“安全认证”的 Kerberos 模式）

  • 查看状态：hdfs dfsadmin -safemode get
  • 进入安全模式：hdfs dfsadmin -safemode enter
  • 退出安全模式：hdfs dfsadmin -safemode leave
    说明：安全模式用于限制写入/删除，便于一致性维护，不等同于启用 Kerberos 的身份认证。

• 加密区管理

  • 创建加密区：hdfs crypto -createZone -keyName myEZKey -path /secure
  • 对现有数据启用加密：hdfs crypto -encrypt -path /secure -keyName myEZKey
  • 解密：hdfs crypto -decrypt -path /secure -keyName myEZKey
  • 删除加密区：hdfs crypto -removeZone -path /secure -keyName myEZKey
    提示：执行前确保 KMS/HSM 可用、备份策略到位，避免密钥丢失导致数据不可读。