HDFS文件系统在CentOS上的使用技巧

在CentOS上使用HDFS文件系统时，以下是一些有用的技巧和步骤：

安装和配置HDFS

1. 安装Java环境：

• 编辑 /etc/profile 文件，添加Java路径：

  export JAVA_HOME=/usr/lib/java-1.8.0/jdk1.8.0_144
  export PATH=$JAVA_HOME/bin:$PATH
  export CLASSPATH=$JAVA_HOME/jre/lib/ext:$JAVA_HOME/lib/tools.jar
  source /etc/profile
  

2. 配置Hadoop环境变量：

• 编辑 /etc/profile 文件，添加Hadoop路径：

  export HADOOP_HOME=/opt/hadoop/hadoop-2.8.1
  export PATH=$HADOOP_HOME/bin:$PATH
  export CLASSPATH=$HADOOP_HOME/lib/*
  source /etc/profile
  

3. 配置SSH无密码登录：

• 生成SSH密钥：

  ssh-keygen -t rsa
  

• 将公钥复制到本地：

  ssh-copy-id localhost
  

4. 格式化NameNode：

• 在首次配置HDFS时，需要格式化NameNode：

  hdfs namenode -format
  

5. 启动HDFS：

• 启动HDFS服务：

  sbin/start-dfs.sh
  

6. 访问HDFS Web界面：

• 在浏览器中访问NameNode的Web界面：

  http://<namenode-ip>:50070
  

高级配置

1. HDFS高可用性（HA）：

• 配置两个NameNode，一个活动状态，一个备用状态。
• 编辑 hdfs-site.xml 文件，添加HA相关配置：

  <property>
    <name>dfs.nameservices</name>
    <value>mycluster</value>
  </property>
  <property>
    <name>dfs.ha.namenodes.mycluster</name>
    <value>nn1,nn2</value>
  </property>
  <property>
    <name>dfs.namenode.rpc-address.mycluster.nn1</name>
    <value>namenode1:8020</value>
  </property>
  <property>
    <name>dfs.namenode.rpc-address.mycluster.nn2</name>
    <value>namenode2:8020</value>
  </property>
  <property>
    <name>dfs.namenode.http-address.mycluster.nn1</name>
    <value>namenode1:50070</value>
  </property>
  <property>
    <name>dfs.namenode.http-address.mycluster.nn2</name>
    <value>namenode2:50070</value>
  </property>
  <property>
    <name>dfs.namenode.shared.edits.dir</name>
    <value>qjournal://journalnode1:8485;journalnode2:8485;journalnode3:8485/mycluster</value>
  </property>
  

2. 性能调优：

• NameNode内存优化：
  • 对于Hadoop 2.x系列，可以在 hadoop-env.sh 文件中设置 HADOOP_NAMENODE_OPTS 来调整NameNode的内存。
  • 对于Hadoop 3.x系列，可以利用内存自动分配特性，通过 jmap -heap 命令查看和调整NameNode和DataNode的内存占用。
• 心跳并发优化：
  • 编辑 hdfs-site.xml 文件，增加 dfs.namenode.handler.count 的值，以提高NameNode处理DataNode心跳和客户端元数据操作的并发能力。
• 开启HDFS回收站：
  • 修改 core-site.xml 中的 fs.trash.interval 和 fs.trash.checkpoint.interval 值来启用和管理回收站功能。
• 多目录配置：
  • 在 hdfs-site.xml 中修改 dfs.namenode.name.dir 参数，配置多个目录以提高数据的可靠性。
  • 同样修改 dfs.datanode.data.dir 参数，为DataNode配置多个目录，以便分散数据存储。

通过以上步骤和技巧，您可以在CentOS上成功安装、配置和优化HDFS文件系统。