CentOS HDFS权限设置与访问控制

在CentOS系统中配置和管理HDFS（Hadoop分布式文件系统）的权限涉及多个步骤。以下是一个基本的指南，帮助你设置HDFS的权限：

HDFS用户和组

• 创建用户和组：通常，HDFS服务以特定的用户（如 hdfs）运行，并且该用户属于相应的组。可以使用以下命令创建这个用户并设置密码：

  sudo adduser hdfs
  sudo passwd hdfs
  

• 用户和组映射：HDFS默认使用Linux系统的用户和组。如果需要自定义映射（例如通过LDAP），可在 core-site.xml中配置：

  <property>
    <name>hadoop.security.group.mapping</name>
    <value>org.apache.hadoop.security.LdapGroupsMapping</value>
  </property>
  

HDFS目录和文件权限

• 文件和目录权限：HDFS中的文件和目录权限与Linux系统类似，包括读（r）、写（w）和执行（x）权限。可以使用 hdfs dfs -chmod命令来修改权限。例如：

  hdfs dfs -chmod 755 /user/hdfs/example.txt
  hdfs dfs -chmod 755 /user/hdfs/example_dir
  

• 设置ACL（访问控制列表）：HDFS支持ACL，可以为特定用户或组设置额外的访问权限。可以使用 hdfs dfs -setfacl和 hdfs dfs -getfacl命令来设置和查看ACL。例如：

  hdfs dfs -setfacl -m u:user1:rwx /user/hdfs/example.txt
  hdfs dfs -getfacl /user/hdfs/example.txt
  

配置文件

在 core-site.xml和 hdfs-site.xml中配置相关的权限设置。例如：

core-site.xml:

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://your-namenode-host:8020</value>
  </property>
</configuration>

hdfs-site.xml:

<configuration>
  <property>
    <name>dfs.permissions.enabled</name>
    <value>true</value>
  </property>
  <property>
    <name>dfs.namenode.acls.enabled</name>
    <value>true</value>
  </property>
</configuration>

Kerberos认证

如果启用了Kerberos认证，确保HDFS服务使用Kerberos票据进行身份验证。可以使用以下命令获取Kerberos票据：

sudo kinit hdfs

重启服务

在完成上述配置后，重启HDFS服务以使更改生效：

sudo systemctl restart hadoop-hdfs-namenode
sudo systemctl restart hadoop-hdfs-datanode

验证配置

可以通过以下命令验证HDFS和YARN是否正常运行：

jps

你应该看到以下进程：

• NameNode
• DataNode
• SecondaryNameNode
• ResourceManager
• NodeManager

通过以上步骤，你应该能够在CentOS上成功配置HDFS权限。根据你的具体需求，可能还需要进行更多的配置和调整。