Hadoop数据库怎样进行权限管理

Hadoop生态的权限管理通常由身份认证、授权与访问控制、统一策略与审计三层构成。生产上常见做法是先启用Kerberos做强认证，再在HDFS层用POSIX+ACL做细粒度访问控制，在Hive/HBase层用RBAC（如 Sentry 或 Ranger）做库表列级授权，并通过Ranger统一策略与审计。Hadoop 本身并不存储用户与用户组信息，通常依赖Linux/OpenLDAP进行集中管理，必要时通过 PAM/LDAP 同步用户与组到操作系统。

核心组件与适用场景

实施步骤

• 统一用户与组管理
  建议以OpenLDAP为权威源，使用 PAM 将 LDAP 用户/组同步到各节点操作系统，避免多系统重复维护；Kerberos 仅负责认证，不管理组信息。

• 启用 Kerberos 强认证
  在所有节点配置 /etc/krb5.conf 与 KDC（kdc.conf），为服务创建 Service Principal（如 hdfs/_HOST@REALM、hive/_HOST@REALM），生成 keytab 并分发；用户/服务通过 kinit 获取票据，使用 klist/kdestroy 管理票据生命周期。

• 配置 HDFS 权限与 ACL
  在 hdfs-site.xml 启用权限与 ACL：

  • dfs.permissions.enabled=true
  • dfs.namenode.acls.enabled=true
    在 core-site.xml 设置默认权限掩码：
  • fs.permissions.umask-mode=002
    常用命令：
  • 设定所有者/权限：hdfs dfs -chown hive:hadoop /user/hive/warehouse；hdfs dfs -chmod 750 /user/hive/warehouse
  • 设置 ACL：hdfs dfs -setfacl -m user:alice:rwx,group:data:r-x /user/hive/warehouse/db1
  • 查看 ACL：hdfs dfs -getfacl /user/hive/warehouse/db1
    对 外部表，需额外授予对应 HDFS URI 权限（库/表级授权不会自动覆盖底层存储路径）。

• 配置 Hive/Impala 授权（Sentry 或 Ranger）

  • 使用 Sentry：通过 Impala-shell 执行 RBAC（create role、grant、revoke），将角色授予 OS 组；外部表需显式授予 URI 权限；变更后执行 INVALIDATE METADATA 使权限生效。
  • 使用 Ranger：在 Ranger Admin 为 HDFS/Hive/HBase/YARN 建立服务与策略，支持库/表/列、路径、队列等细粒度策略与审计日志；用户/组可通过 Ranger Usersync 同步。

• 配置 YARN 队列与作业 ACL
  在 mapred-site.xml 启用队列 ACL：mapred.acls.enabled=true；在调度器（如 Fair Scheduler）配置队列与 ACL 规则，控制用户/组的作业提交与管理权限。

常见注意事项

• 开启安全后，访问主体以 Kerberos Principal 为准，务必保证集群节点与客户端的时间同步（建议 NTP），避免因时钟漂移导致票据校验失败。
• 外部表需同时授予库/表级权限与底层 HDFS URI 权限，否则会出现“无权访问数据路径”的问题。
• 长期运行任务（超过 TGT 生命周期）需实现 TGT 续期 并重建客户端连接（如 Thrift 重连），否则会认证过期。
• 客户端访问建议优先使用 keytab 自动化登录；Windows 环境下注意使用 JDK 自带的 kinit，部分 MIT 客户端在 Windows 上不可用。
• 多租户资源隔离除 YARN ACL 外，可结合 队列配额/权重 与命名规范，减少越权与资源争用。