在CentOS上配置Hadoop分布式文件系统（HDFS）时，有几个关键点需要注意，以确保系统的稳定性、安全性和性能。以下是一些主要的注意事项：
1. 环境准备
- 硬件资源：确保所有节点有足够的内存和存储空间。
- 网络设置：所有节点应有静态IP地址，并配置主机名。
2. Java环境
- 安装OpenJDK 8，并设置
JAVA_HOME环境变量。
3. 安装Hadoop
- 从Apache Hadoop官网下载适合的版本并解压。
4. 配置文件
- core-site.xml：配置默认文件系统和临时目录。
- hdfs-site.xml：配置HDFS相关参数，如副本数、数据目录等。
- mapred-site.xml 和 yarn-site.xml：配置MapReduce框架和YARN资源管理器。
5. 网络配置
- 编辑
/etc/hosts文件，确保主机名与IP地址映射正确。
- 配置防火墙，允许Hadoop服务之间的通信。
6. SSH免密登录
- 在所有节点上生成SSH密钥对，并将公钥复制到其他节点的
authorized_keys文件中，以便无密码登录。
7. 高可用性配置（可选）
- 对于高可用性集群，配置Active/Standby NameNode和JournalNode。
8. 监控和日志
- 配置日志目录和监控工具，如Ganglia、Ambari等，以便及时发现和解决问题。
9. 安全性
- 配置HDFS的安全特性，如SSH无密钥登录和访问控制列表（ACLs）。
10. 数据本地性和副本管理
- 配置数据块副本的数量和位置，确保数据本地性和副本一致性。
11. 权限问题
- 确保Hadoop安装目录和目录已授权给Hadoop用户，并且所有用户都有足够的权限执行HDFS命令。
12. 配置文件同步
- 在多台机器上配置HDFS时，确保配置文件同步到所有节点。
13. 常见问题及解决方法
- 网络配置问题：确保所有节点之间的网络连接正常，主机名与IP地址映射正确。
- 权限问题：确保Hadoop目录和文件已授权给Hadoop用户。
- 配置文件错误：仔细检查配置文件中的参数设置，确保它们符合集群规模和需求。
- 格式化问题：在格式化NameNode之前，删除
{HADOOP_HOME}/data和{HADOOP_HOME}/logs目录，然后重新格式化。
通过仔细检查和正确配置这些关键点，可以有效避免CentOS上HDFS配置中的常见错误，并确保系统的稳定运行。如果问题仍然存在，建议查看Hadoop日志文件以获取更多详细的错误信息，并根据错误信息进行进一步的排查和解决。
