HDFS在Linux中的容错机制通过“数据冗余+故障检测+元数据高可用+客户端容错”多层级设计，确保大规模数据存储的高可靠性和可用性。
1. 数据冗余：多副本存储与副本放置策略
HDFS的核心容错基础是数据块多副本。文件被切分为固定大小（默认128MB或256MB）的数据块，每个数据块默认生成3个副本，分布在不同的DataNode上。为提升容错能力，副本放置采用机架感知策略：第一个副本存放在客户端所在节点（若客户端在集群外，则随机选择机架），第二个副本存放在不同机架的节点，第三个副本存放在同一机架的另一节点。这种策略既提高了数据读取的本地性（减少跨机架网络传输），又避免了机架级故障（如机架电源故障）导致的数据丢失。
2. 故障检测：心跳与块报告机制
HDFS通过DataNode定期上报状态实现故障快速检测：
- 心跳机制：DataNode每隔一定时间（默认3秒）向NameNode发送心跳信号，包含自身健康状态、存储容量、数据块列表等信息。若NameNode超过10分钟（默认超时时间，可配置）未收到某DataNode的心跳，会将其标记为“失效节点”。
- 块报告机制：DataNode定期向NameNode发送块报告（Block Report），列出所有存储的数据块及其元数据（如块ID、大小、校验和）。NameNode通过块报告验证数据块的完整性，并更新元数据中的副本分布信息。
3. 故障恢复：副本重建与数据再平衡
当检测到DataNode失效或数据块副本丢失时，NameNode会自动触发故障恢复流程：
- 副本重建：NameNode从健康的DataNode中选取副本源，将丢失的副本复制到其他可用节点（优先选择同一机架的不同节点，再选择不同机架的节点），直到恢复默认的3个副本。复制过程采用流水线方式（如从源节点到目标节点1，再到目标节点2），提高效率。
- 数据再平衡：当集群新增或移除节点时，HDFS会自动触发数据再平衡，将数据块均匀分布到所有节点，避免数据倾斜导致的性能瓶颈。
4. 元数据高可用：NameNode主备与共享存储
NameNode是HDFS的“元数据大脑”（管理文件系统树、数据块位置等关键信息），其高可用是系统稳定的核心。Hadoop 2.x及以上版本通过Active/Standby模式实现NameNode高可用：
- Active NameNode：处理所有客户端请求（如文件创建、读取、写入），并将元数据变更记录到**编辑日志（EditLog）**中。
- Standby NameNode：实时同步Active NameNode的编辑日志，并定期合并到文件系统镜像（FsImage）（FsImage是元数据的完整快照），确保两者状态一致。
- 故障切换：当Active NameNode故障时，Standby NameNode通过ZooKeeper（分布式协调服务）快速接管，成为新的Active NameNode，整个切换过程通常在30秒内完成，对客户端透明。
5. 数据完整性：校验和与自动修复
HDFS通过校验和机制确保数据未被篡改或损坏：
- 写入时计算校验和：客户端写入数据块时，会为每个数据块生成校验和（如CRC32），并随数据块一起存储到DataNode。
- 读取时验证校验和：客户端读取数据块时，会重新计算校验和并与存储的校验和对比。若不一致，说明数据损坏，HDFS会自动从其他副本中读取正确数据，并通知NameNode用健康副本替换损坏副本。
6. 客户端容错：重试与多副本读取
客户端交互层提供了自动重试机制，提升数据访问的可靠性：
- 写入重试：客户端向DataNode写入数据时，若某个DataNode故障（如网络中断），会自动重试写入其他健康副本（最多重试次数由
dfs.client.block.write.replace-datanode-on-failure参数控制）。
- 读取重试：客户端读取数据时，若某个副本不可用（如DataNode宕机），会自动切换到其他副本，确保读取成功。
