Debian Hadoop安全设置指南

Debian Hadoop 安全设置指南

一 基础加固

• 系统与软件更新：定期执行 sudo apt update && sudo apt upgrade，及时修补漏洞；为关键服务建立变更与回滚流程。
• 身份与登录安全：创建普通用户并加入 sudo，禁用 root 远程登录；仅启用 SSH 密钥认证，禁用空密码；按需限制 SSH 端口来源 IP。
• 防火墙最小化：使用 UFW 或 iptables 仅开放必要端口（如 SSH 22、HTTP/HTTPS 80/443 及 Hadoop 服务端口），对管理口与数据口进行网段隔离。
• 安全审计与监控：启用系统及 Hadoop 审计日志，集中收集与告警；部署 Nagios/Zabbix 等监控，关注异常登录、服务异常与磁盘/内存压力。
• 备份与恢复：制定 定期备份（含配置与元数据）与灾难恢复预案，定期演练恢复流程。

二 网络与端口控制

• UFW 快速示例（按需精简到最小集）：
  • 启用：sudo ufw enable
  • 放行管理口：sudo ufw allow 22/tcp
  • 放行 Hadoop Web/服务端口（示例）：sudo ufw allow 8088/tcp, 50070/tcp, 50075/tcp, 8040:8042/tcp
  • 查看状态：sudo ufw status numbered
• 常见端口参考（以实际版本与部署为准）：
  • 8020/9000（NameNode RPC）、50070/50470（NameNode Web UI/HTTPS）、50090（Secondary NameNode）
  • 50010/50020/50075/50475（DataNode 数据传输/HTTP/HTTPS）
  • 8088（ResourceManager）、8030–8033（RM IPC）、8040–8042（NodeManager）
  • 10020/19888（JobHistoryServer RPC/Web UI）
• 建议：管理网络与业务/数据网络分区分域，仅允许跳板/堡垒机与受控网段访问管理端口。

三 身份认证与访问控制

• 服务与主机加固：为各节点创建 专用系统用户（如 hdfs、yarn、mapred、hive 等），服务以最小权限运行；目录与日志归属对应用户，权限最小化。
• Hadoop 内置授权：
  • 开启服务级授权：在 core-site.xml 设置 hadoop.security.authorization=true
  • 开启 HDFS 权限校验：在 hdfs-site.xml 设置 dfs.permission=true
  • 开启队列 ACL：在 mapred-site.xml 设置 mapred.acls.enabled=true
• 细粒度权限：使用 HDFS ACL 为敏感目录设置用户/组与权限位（如 default:group:rwx）。
• 强认证：部署 Kerberos，为 NameNode、DataNode、ResourceManager、NodeManager 等启用 keytab 登录，统一管控用户与服务身份。

四 加密与数据安全

• 传输加密：
  • Web/UI 与 RPC 启用 SSL/TLS；在 core-site.xml 设置 dfs.http.policy=HTTPS_ONLY；为 HTTPS 配置有效证书（如 Let’s Encrypt/certbot）。
• 静态数据加密：
  • 启用 HDFS 透明数据加密（TDE）（HDFS 2.7.0+），通过 KMS（如 Apache KMS）管理密钥；使用 hdfs crypto 创建加密区域并迁移敏感数据。
• 密钥与凭据：保护 keytab、KMS 主密钥 与配置文件，限制读取权限并纳入备份。

五 审计监控与运维

• 审计与日志：启用 Hadoop 审计日志 与系统审计（auth/secure/syslog），集中到 SIEM 或日志平台，设置关键事件告警（如多次失败登录、权限变更、删除/覆盖重要数据）。
• 时间同步：部署 NTP/Chrony 保证节点间时钟一致性（Kerberos 等对时间敏感），示例：
  • 安装：sudo apt install ntp -y
  • 编辑 /etc/ntp.conf 添加服务器（如 ntp.aliyun.com iburst）并启动服务
• 持续监控：监控 NameNode/DataNode/ResourceManager 进程与端口、JVM、磁盘/网络、作业失败率与队列积压；定期核查 访问日志 与 安全配置基线。