Debian Hadoop 权限怎么管理

Debian 上 Hadoop 权限管理实战指南

一 基础安全与运行账户

• 创建专用的 hadoop 用户与组，所有 Hadoop 服务与作业统一以该普通用户运行，避免直接使用 root 启动，降低权限滥用与数据损坏风险。
• 仅在必要时通过 sudo 授权特定管理命令，使用 visudo 安全编辑 /etc/sudoers。
• 如启用 Kerberos，在所有节点为服务创建 Principal（如 hdfs/_HOST@REALM），用户需持有效票据访问；未启用 Kerberos 时，Hadoop 以客户端环境的 whoami 与 groups 判定用户/组。
• 建议开启 ACL 与（可选）SELinux/AppArmor 做细粒度与强制访问控制加固。

二 HDFS 文件与目录权限

• 开启 HDFS 权限校验：在 hdfs-site.xml 设置 dfs.permissions=true，使读写执行遵循 rwx 模型。
• 常用 HDFS 命令：
  • 创建用户目录并赋权：hdfs dfs -mkdir -p /user/<name>；hdfs dfs -chown <name>:<group> /user/<name>；hdfs dfs -chmod 755 /user/<name>。
  • 作业临时目录：为提交作业的用户设置 /user//.staging 权限为 1777（粘滞位），确保多用户提交互不干扰：hdfs dfs -chmod 1777 /user/<name>/.staging。
  • 精细授权：使用 ACL 为特定用户/组追加权限，例如：hdfs dfs -setfacl -m user:alice:rwx,group:data:rx /data。
• 注意：HDFS 权限信息保存在 NameNode 侧，开启/关闭 dfs.permissions 不会改变既有元数据与块数据。

三 服务级与队列级访问控制

• 服务级授权（Service-Level Authorization）：在 core-site.xml 设置 hadoop.security.authorization=true，通过 hadoop-policy.xml 的 ACL 控制谁能访问各服务（如提交作业、查看作业等）。修改后需重启或执行 hadoop dfsadmin -refreshServiceAcl 动态加载。
• 队列级授权（Access Control on Job Queues）：在 mapred-site.xml 启用 mapred.acls.enabled=true，并在 mapred-queue-acl.xml 配置队列的提交与管理 ACL，例如：mapred.queue.<queue>.acl-submit-job 与 acl-administer-jobs。
• 作业级 ACL：在 mapred-site.xml 设置默认 mapreduce.job.acl-view-job 与 mapreduce.job.acl-modify-job，控制作业查看与修改权限。

四 快速落地清单与验证

• 初始化与目录：
  • 以 hdfs 用户初始化并启动集群：sudo -u hdfs hdfs namenode -format；启动后创建用户目录：sudo -u hdfs hdfs dfs -mkdir -p /user/<name>；赋权：sudo -u hdfs hdfs dfs -chown <name>:<group> /user/<name>；sudo -u hdfs hdfs dfs -chmod 700 /user/<name>。
• 提交作业验证：切换到业务用户执行 hdfs dfs -ls /user/<name> 与作业提交，确认权限是否生效。
• 动态刷新：策略调整后执行 hadoop dfsadmin -refreshServiceAcl 使 Service-Level Authorization 生效。
• 安全建议：全程避免使用 root 直接启动服务；必要时仅以 sudo -u <hadoop-user> 方式执行管理命令。

五 进阶与审计

• 启用 Kerberos 实现强身份鉴别，并为 Hive 等组件配置主体与票据，结合 GRANT/REVOKE 做表/列级授权。
• 引入 Apache Ranger 统一管理 HDFS/Hive 等资源的细粒度策略与审计日志，便于合规与追溯。
• 定期审计 HDFS ACL、队列 ACL 与服务 ACL，及时回收不再需要的权限。