在 Linux 环境下使用 HDFS(Hadoop Distributed File System) 设置副本数,可以从全局默认副本数和针对某个文件/目录副本数两个层面来配置。
hdfs-site.xml编辑 Hadoop 配置文件(一般在 $HADOOP_HOME/etc/hadoop/hdfs-site.xml):
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
修改后需要重启 HDFS:
stop-dfs.sh
start-dfs.sh
默认副本数通常是 3,生产环境一般 3 个,测试环境可设为 1。
hdfs dfs -D dfs.replication=2 -put localfile /user/hadoop/
hdfs dfs -setrep -w 2 /user/hadoop/file.txt
-w:等待复制完成hdfs dfs -setrep -R 2 /user/hadoop/
hdfs dfs -stat %r /user/hadoop/file.txt
或:
hdfs fsck /user/hadoop/file.txt -files -blocks -replication
hdfs dfsadmin -report
dfs.replication 只影响新写入的文件setrep 修改如果你是想:
可以告诉我你的使用场景,我可以给你更具体的配置。