centos hdfs如何配置副本

在 CentOS 上配置 HDFS 副本数（replication），一般分为 集群级默认配置 和 目录/文件级配置 两种方式。下面按常见场景说明。

一、集群级默认副本数配置（最常用）

1. 修改 hdfs-site.xml

路径通常为：

$HADOOP_HOME/etc/hadoop/hdfs-site.xml

或

/etc/hadoop/conf/hdfs-site.xml

添加或修改：

<property>
  <name>dfs.replication</name>
  <value>3</value>
</property>

说明：

• 3 是默认副本数（生产环境常用）
• 单节点测试环境可设为 1

2. 重启 HDFS 使配置生效

stop-dfs.sh
start-dfs.sh

或

systemctl restart hadoop-hdfs-namenode
systemctl restart hadoop-hdfs-datanode

（取决于你是用脚本还是 systemd）

二、已存在文件的副本数修改

1. 查看当前副本数

hdfs dfs -stat %r /path/to/file

2. 修改副本数

hdfs dfs -setrep -R 2 /user/hadoop/data

参数说明：

• -R：递归（对目录有效）
• 2：目标副本数

三、上传时指定副本数（临时）

hdfs dfs -D dfs.replication=2 -put localfile /hdfs/path/

四、基于目录策略的副本（进阶）

1. 启用存储策略（HDFS 2.7+）

hdfs storagepolicies -setStoragePolicy -path /cold/data -policy COLD

COLD 策略默认副本数较低（如 2）

2. 查看策略

hdfs storagepolicies -getStoragePolicy -path /cold/data

五、常见注意事项（CentOS 环境）

1. 副本数 ≤ DataNode 数量

   hdfs dfsadmin -report
   

   查看 DataNode 数量

2. 单节点伪分布式

   <property>
     <name>dfs.replication</name>
     <value>1</value>
   </property>
   

3. 修改后旧文件不会自动变 必须用 -setrep

4. 权限问题

   sudo -u hdfs hdfs dfs -setrep ...
   

六、快速示例（最常用）

# 修改默认副本为 2
vi $HADOOP_HOME/etc/hadoop/hdfs-site.xml

<property>
  <name>dfs.replication</name>
  <value>2</value>
</property>

# 重启
stop-dfs.sh
start-dfs.sh

# 修改已有数据
hdfs dfs -setrep -R 2 /

如果你能贴出：

• Hadoop 版本
• 是否伪分布式 / 集群
• DataNode 数量

我可以给你更精确的建议配置。