Hadoop安全Ubuntu上如何设置

Hadoop在Ubuntu上的安全设置指南

1. 创建专用Hadoop用户及组

为隔离Hadoop进程与系统其他用户，需创建专用用户和组。执行以下命令：

sudo groupadd hadoop          # 创建hadoop用户组
sudo useradd -r -g hadoop hadoop  # 创建系统用户hadoop并加入该组
sudo passwd hadoop            # 设置hadoop用户密码（可选但建议）

将Hadoop安装目录（如/usr/local/hadoop）的所有权赋予该用户，确保其有足够权限管理Hadoop服务：

sudo chown -R hadoop:hadoop /usr/local/hadoop

2. 配置SSH无密码登录

Hadoop集群节点间需通过SSH通信，无密码登录可避免手动输入密码的麻烦及潜在泄露风险。

生成SSH密钥对：在hadoop用户下执行：

ssh-keygen -t rsa -P ''     # 生成无密码RSA密钥对（默认保存在~/.ssh/）

分发公钥到本地主机：将公钥添加到authorized_keys文件，实现本地无密码登录：

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys  # 限制文件权限，仅所有者可读写

测试无密码登录：执行ssh localhost，若无需密码即可登录，则配置成功。

3. 配置Hadoop环境变量

编辑hadoop-env.sh文件（位于$HADOOP_HOME/etc/hadoop/目录），设置Java环境变量（需替换为实际Java路径）：

export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64  # Ubuntu常用OpenJDK路径
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

使环境变量生效：source $HADOOP_HOME/etc/hadoop/hadoop-env.sh。

4. 配置防火墙规则

使用ufw（Uncomplicated Firewall）限制访问，仅开放Hadoop必需端口，拒绝非法访问。

开启必要端口（根据实际组件调整）：

sudo ufw allow 9000/tcp    # NameNode默认RPC端口
sudo ufw allow 50070/tcp   # NameNode Web UI端口
sudo ufw allow 50010/tcp   # DataNode数据传输端口
sudo ufw allow 50020/tcp   # DataNode IPC端口

屏蔽高危端口：禁用Telnet（23）、NetBIOS（135-139、445）等不安全服务：

sudo ufw deny 23
sudo ufw deny 135
sudo ufw deny 137
sudo ufw deny 138
sudo ufw deny 139
sudo ufw deny 445

设置默认策略：拒绝所有入站连接，仅允许指定IP段（如内网192.168.1.0/24）访问关键端口：

sudo ufw default deny incoming
sudo ufw allow from 192.168.1.0/24 to any port 9000
sudo ufw enable              # 启用防火墙

5. 启用Kerberos身份验证（可选但强烈推荐）

Kerberos是Hadoop默认的安全认证机制，可实现强身份验证，防止未授权访问。

安装Kerberos客户端：
```
sudo apt-get install krb5-user
```
配置Kerberos：编辑/etc/krb5.conf文件，设置KDC（Key Distribution Center）和Realm（领域）信息（需根据实际Kerberos服务器调整）。

获取并分发TGT（Ticket Granting Ticket）：

kinit hadoop@YOUR-REALM.COM  # 输入密码获取TGT
klist                      # 查看票据是否有效

配置Hadoop使用Kerberos：修改core-site.xml、hdfs-site.xml等文件，添加Kerberos相关参数（如hadoop.security.authentication=kerberos）。

6. 配置细粒度访问控制

通过HDFS权限和第三方工具实现数据访问的细粒度控制。

HDFS权限设置：使用hdfs dfs命令修改文件/目录权限（如750表示所有者可读写执行，组用户可读执行，其他用户无权限）：
```
hdfs dfs -mkdir -p /user/hadoop
hdfs dfs -chown hadoop:hadoop /user/hadoop
hdfs dfs -chmod 750 /user/hadoop
```
第三方权限管理：部署Apache Ranger或Sentry，实现基于角色的访问控制（RBAC），细化到表、列级别的权限管理。

7. 启用数据加密

保护数据在传输和存储过程中的安全，防止泄露。

传输加密：启用Hadoop SSL，配置core-site.xml中的hadoop.ssl.enabled为true，并指定证书路径。
存储加密：使用Hadoop内置的透明加密功能（HDFS加密区），配置hdfs-site.xml中的hadoop.hdfs.encryption.zone参数，指定加密目录。

8. 启用审计日志

记录用户对Hadoop集群的操作，便于事后追溯和问题排查。

配置审计日志：修改log4j.properties文件（位于$HADOOP_HOME/etc/hadoop/目录），开启审计日志记录。例如，添加以下内容：

log4j.logger.org.apache.hadoop.security=INFO, audit
log4j.additivity.org.apache.hadoop.security=false
log4j.appender.audit=org.apache.log4j.RollingFileAppender
log4j.appender.audit.File=${hadoop.log.dir}/audit.log
log4j.appender.audit.MaxFileSize=100MB
log4j.appender.audit.MaxBackupIndex=10
log4j.appender.audit.layout=org.apache.log4j.PatternLayout
log4j.appender.audit.layout.ConversionPattern=%d{ISO8601} %p %c{2}:%L - %m%n

查看审计日志：日志文件默认位于$HADOOP_HOME/logs/audit.log，可通过tail -f命令实时查看。

9. 定期更新与维护

保持Hadoop及相关组件（如Java、SSH）为最新版本，及时修复已知安全漏洞。

更新系统包：
```
sudo apt update && sudo apt upgrade -y
```
更新Hadoop：从Apache官网下载最新稳定版，替换旧版本文件并重新配置。

10. 网络隔离与监控

将Hadoop集群部署在内网环境，限制外部直接访问；使用监控工具（如Zabbix、Prometheus）监控集群状态，及时发现异常行为。

网络隔离：通过防火墙或虚拟局域网（VLAN）将集群与互联网隔离，仅允许运维人员通过跳板机访问。
流量监控：使用tcpdump或Wireshark监控集群网络流量，检测异常连接或数据传输。