Linux上Hadoop怎样进行权限管理

Linux上Hadoop权限管理指南
在Linux环境中，Hadoop的权限管理需结合Linux系统原生权限与Hadoop自身安全机制，通过用户管理、HDFS权限配置、Kerberos认证等多层策略，实现对集群资源的安全管控。

一、基础准备工作：用户与组管理

Hadoop的权限体系基于Linux用户和组，需先创建专用用户及组，隔离集群操作权限。

创建Hadoop用户组：

sudo groupadd hadoop  # 创建hadoop组

创建Hadoop专用用户并加入组：

sudo useradd -r -g hadoop hadoop  # 创建系统用户hadoop（-r表示系统用户），并加入hadoop组
sudo passwd hadoop  # 设置用户密码

设置Hadoop目录权限：
将Hadoop安装目录（如/opt/hadoop）及数据目录的所有权赋予hadoop用户及组，确保进程有权访问：

sudo mkdir -p /opt/hadoop  # 创建安装目录
sudo chown -R hadoop:hadoop /opt/hadoop  # 递归修改所有者
sudo chmod -R 755 /opt/hadoop  # 设置目录权限（所有者可读写执行，组及其他用户可读执行）

二、HDFS权限核心管理

HDFS作为Hadoop的核心存储组件，其权限管理遵循“用户-组-其他”三元模型，支持基本权限设置、ACL细粒度控制及权限继承。

基本权限命令：
- 查看权限：hdfs dfs -ls /path/to/directory（显示文件/目录的所有者、组及权限，如drwxr-xr-x）；
- 修改权限：hdfs dfs -chmod [权限值] /path/to/file_or_directory（权限值格式：755=所有者可读写执行，组及其他用户可读执行；700=仅所有者可完全访问）；
- 修改所有者/组：hdfs dfs -chown [用户]:[组] /path/to/file_or_directory（如hdfs dfs -chown hadoop:hadoop /data）；
- 递归修改权限：hdfs dfs -chmod -R 755 /path/to/directory（递归修改目录及其子项权限）。
ACL细粒度控制：
当需要为特定用户或组授予额外权限时，使用ACL（访问控制列表）。例如，允许用户user1对/data/input有读写执行权限：
```
hdfs dfs -setfacl -m user:user1:rwx /data/input  # 添加ACL规则
hdfs dfs -getfacl /data/input  # 查看ACL规则
```

权限继承：
创建目录时，通过-R选项让子目录继承父目录的权限，避免重复设置：

hdfs dfs -mkdir -p /data/project1  # 创建父目录
hdfs dfs -chmod 755 /data  # 设置父目录权限
hdfs dfs -setfacl -m default:user:hadoop:rwx /data  # 设置默认ACL（子目录继承）

三、Kerberos认证（增强安全性）

Kerberos是Hadoop支持的网络身份验证协议，可实现强身份认证，防止未授权用户访问。

配置Kerberos参数：
在core-site.xml中启用Kerberos认证：

<property>
  <name>hadoop.security.authentication</name>
  <value>kerberos</value>
</property>
<property>
  <name>hadoop.security.authorization</name>
  <value>true</value>
</property>

在hdfs-site.xml中启用权限检查：

<property>
  <name>dfs.permissions.enabled</name>
  <value>true</value>
</property>
<property>
  <name>dfs.namenode.permissions.check-path-access</name>
  <value>true</value>
</property>

获取与使用Kerberos票据：
用户需通过kinit命令获取票据（Ticket），有效期默认10小时：
```
kinit hadoopuser@EXAMPLE.COM  # 输入密码获取票据
klist  # 查看当前票据
```
票据过期后需重新获取，确保持续访问权限。

四、YARN权限管理

YARN（资源管理系统）的权限主要涉及ResourceManager（资源分配）、NodeManager（节点管理）及ApplicationMaster（应用管理），可通过以下方式管控：

Web UI权限：
YARN ResourceManager的Web界面默认监听8088端口，可通过Linux防火墙（iptables/firewalld）限制访问IP，或结合Kerberos认证增强安全性。
命令行权限：
使用yarn rmadmin命令管理集群状态，如刷新节点列表：
```
yarn rmadmin -refreshNodes  # 刷新节点信息
```
资源队列权限：
通过YARN的队列机制（如Capacity Scheduler）限制用户/组的资源使用量，例如在yarn-site.xml中配置队列权限：
```
<property>
  <name>yarn.scheduler.capacity.root.default.allow-undeclared-pools</name>
  <value>false</value>
</property>
```

五、高级权限策略

Ranger/Sentry集中管理：
Apache Ranger（推荐）和Sentry是Hadoop生态的集中式权限管理框架，支持：
- 细粒度权限（表/列级访问控制）；
- 审计日志（记录用户操作）；
- 动态策略调整（无需重启集群）。
  需单独部署并集成到Hadoop集群，配置策略模板（如“允许hadoop用户读取/data/input目录”）。

审计日志启用：
在core-site.xml中配置审计日志参数，记录用户访问行为：

<property>
  <name>hadoop.security.audit.log.enabled</name>
  <value>true</value>
</property>
<property>
  <name>hadoop.security.audit.log.file</name>
  <value>/var/log/hadoop/audit.log</value>
</property>
<property>
  <name>hadoop.security.audit.log.maxage</name>
  <value>30</value>  <!-- 日志保留天数 -->
</property>

定期检查审计日志（如tail -f /var/log/hadoop/audit.log），及时发现异常访问。

六、日常维护建议

定期审查权限：
每周检查HDFS目录权限（如hdfs dfs -ls /user），确保无过度授权（如避免使用777权限）；
最小权限原则：
为用户分配仅满足需求的权限（如数据分析用户仅需r-x权限，无需w权限）；
备份关键配置：
定期备份core-site.xml、hdfs-site.xml等配置文件，防止误修改导致权限失效；
监控权限变更：
使用工具（如ELK Stack）监控权限配置文件的变更，及时预警非法修改。

通过以上步骤，可在Linux环境下构建多层防御的Hadoop权限管理体系，有效保护集群数据与资源的安全。