hdfs配置centos环境怎么设置

在CentOS上配置HDFS，可按以下步骤进行：

系统环境准备

• 安装Java：使用命令sudo yum install -y java-1.8.0-openjdk-devel安装OpenJDK 8。
• 安装SSH：执行sudo yum install -y openssh-server openssh-client安装SSH，然后启动服务并设置开机自启，使用ssh-keygen -t rsa -P ""生成密钥，再通过ssh-copy-id命令复制公钥到其他节点，实现免密登录。

下载并解压Hadoop

从Apache Hadoop官方网站下载安装包，如wget https://archive.apache.org/dist/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz，然后解压到指定目录，如/usr/local/hadoop，使用命令tar -xzvf hadoop-3.3.1.tar.gz -C /usr/local/。

配置环境变量

编辑/etc/profile.d/hadoop.sh文件，添加export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk、export HADOOP_HOME=/usr/local/hadoop-3.3.1和export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin，然后执行source /etc/profile.d/hadoop.sh使配置生效。

配置Hadoop核心文件

• core-site.xml：在$HADOOP_HOME/etc/hadoop目录下，设置fs.defaultFS为hdfs://localhost:9000，hadoop.tmp.dir为数据临时存储目录，如/usr/local/hadoop/tmp。
• hdfs-site.xml：配置dfs.replication为副本数，通常设为3，设置dfs.namenode.name.dir和dfs.datanode.data.dir分别为NameNode和DataNode的数据存储路径。

格式化NameNode

在NameNode节点上执行hdfs namenode -format，此操作会清空NameNode数据，仅在首次安装时执行。

启动HDFS

在NameNode节点上运行start-dfs.sh启动HDFS服务。

验证配置

使用hdfs dfsadmin -report查看HDFS状态，也可通过浏览器访问http://localhost:9870查看HDFS文件系统状态页面。