linux hdfs配置怎么安全

在 Linux 上配置 HDFS（Hadoop Distributed File System） 时，“安全配置”通常涉及 认证（Authentication）、授权（Authorization）、通信加密 和 系统加固 几个方面。下面按实践优先级给你一个较完整的安全配置指南。

一、基础系统安全（前提）

最小化安装
- 只安装 Hadoop 所需组件
- 关闭不必要的服务（如 ftp、telnet）
专用用户运行
```
useradd -m hadoop
```
- 不要用 root 运行 HDFS
- 设置严格的文件权限

防火墙

firewall-cmd --add-port=8020/tcp --permanent
firewall-cmd --add-port=50070/tcp --permanent
firewall-cmd --reload

或只开放集群内网

禁用 root 远程登录
```
PermitRootLogin no
```

二、HDFS 认证安全（最重要）

1. 启用 Kerberos（强烈推荐）

Kerberos 是 HDFS 安全的核心。

步骤简述：

安装 KDC

yum install krb5-server krb5-workstation

配置 /etc/krb5.conf

创建 principal

kadmin.local -q "addprinc -randkey hdfs/namenode@YOUR.REALM"

导出 keytab

kadmin.local -q "xst -k hdfs.keytab hdfs/namenode@YOUR.REALM"

hdfs-site.xml 中启用：

<property>
  <name>hadoop.security.authentication</name>
  <value>kerberos</value>
</property>

三、HDFS 授权与权限控制

1. 启用 POSIX 权限

<property>
  <name>dfs.permissions.enabled</name>
  <value>true</value>
</property>

2. 使用 HDFS ACL（更细粒度）

hdfs dfs -setfacl -m user:alice:rwx /data
hdfs dfs -getfacl /data

3. 禁用匿名访问

<property>
  <name>hadoop.http.authentication.type</name>
  <value>kerberos</value>
</property>

四、通信加密（防嗅探）

1. RPC 加密

<property>
  <name>hadoop.rpc.protection</name>
  <value>privacy</value>
</property>

2. DataNode 数据传输加密

<property>
  <name>dfs.encrypt.data.transfer</name>
  <value>true</value>
</property>

3. HTTPS（Web UI）

<property>
  <name>dfs.http.policy</name>
  <value>HTTPS_ONLY</value>
</property>

五、Web UI 与 REST 安全

不要暴露 50070 / 9870 到公网
使用反向代理 + 认证（Nginx + Basic Auth）
启用 SPNEGO（Kerberos Web 认证）

六、审计与日志

1. 开启 HDFS 审计日志

<property>
  <name>dfs.namenode.audit.loggers</name>
  <value>default</value>
</property>

2. 日志集中

使用 rsyslog / ELK
定期审查异常访问

七、常见安全错误（要避免）

❌ 使用 dfs.permissions.enabled=false
❌ NameNode Web UI 公网开放
❌ 使用 root 启动 Hadoop
❌ 无 Kerberos + 多用户环境

八、最小安全配置示例（生产建议）

✅ Kerberos
✅ dfs.permissions.enabled=true
✅ RPC + DataTransfer 加密
✅ 专用用户 + 防火墙
✅ 审计日志

如果你愿意，我可以：

给你一份 hdfs-site.xml / core-site.xml 安全模板
或按 CDH / HDP / 原生 Hadoop 分别讲
或帮你做 安全自查清单

你现在是测试环境还是生产环境？