CentOS HDFS配置需要哪些准备工作

在CentOS上配置Hadoop分布式文件系统（HDFS）是一个涉及多个步骤的过程，以下是详细的准备工作：

1. 环境准备

安装Java环境：Hadoop需要Java运行环境，推荐使用OpenJDK 8。

sudo yum install -y java-1.8.0-openjdk-devel
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk

配置网络：确保所有节点有静态IP地址，并配置主机名。
- 编辑 /etc/hosts 文件，增加节点IP和主机名的映射。

关闭及禁用防火墙（可选但推荐）：

sudo systemctl stop firewalld
sudo systemctl disable firewalld

创建用户：创建一个专门用于Hadoop的用户，并设置密码。
```
sudo useradd hadoop
sudo passwd hadoop
```
配置SSH免密登录：在所有节点上配置SSH免密登录，以便节点之间可以无密码通信。
- 生成SSH密钥对：
```
ssh-keygen -t rsa
```
- 将生成的公钥复制到其他节点的 ~/.ssh/authorized_keys 文件中。
- 测试免密码登录：
```
ssh hadoop@node2
```

2. 安装Hadoop

下载并解压Hadoop：从Apache Hadoop官网下载最新版本的Hadoop，并解压到指定目录。

wget https://archive.apache.org/dist/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz
tar -xzvf hadoop-3.3.1.tar.gz -C /usr/local/
sudo mv /usr/local/hadoop-3.3.1 /usr/local/hadoop

配置Hadoop环境变量：编辑 /etc/profile.d/hadoop.sh 文件，添加以下内容：

export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

使配置生效：

source /etc/profile.d/hadoop.sh

3. 配置Hadoop环境变量

编辑 hadoop-env.sh：设置Java路径和其他环境变量。
```
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk
```

配置 core-site.xml：配置HDFS的默认文件系统和临时目录。

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://namenode:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/tmp/hadoop</value>
    </property>
</configuration>

配置 hdfs-site.xml：配置HDFS的存储目录和副本数。

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/usr/local/hadoop/data/namenode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/usr/local/hadoop/data/datanode</value>
    </property>
</configuration>

配置 mapred-site.xml 和 yarn-site.xml（如果需要）：配置MapReduce和YARN的相关属性。

<!-- mapred-site.xml -->
<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

<!-- yarn-site.xml -->
<configuration>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>namenode</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

4. 格式化NameNode

在NameNode节点上执行以下命令格式化文件系统：

hdfs namenode -format

5. 启动HDFS

在NameNode节点上启动HDFS：

start-dfs.sh

6. 验证配置

使用以下命令检查HDFS状态：

hdfs dfsadmin -report

或者使用 jps 命令查看进程，确认NameNode和DataNode是否启动。

7. 配置多个节点

如果你有多个节点，需要在所有节点上进行类似的配置，并确保它们在 /etc/hosts 文件中正确配置了彼此的IP地址和主机名。

以上步骤是在CentOS系统上配置HDFS的基本流程，根据实际需求，可能还需要进行更多的配置和优化。建议参考Hadoop官方文档进行详细配置。