Hadoop在Linux中通过**分布式文件系统（HDFS）**实现数据存储，核心机制如下：
-
架构设计
- NameNode：管理元数据（文件名、目录结构、块位置等），维护命名空间树，处理客户端请求。
- DataNode：存储实际数据块，执行读写操作，定期向NameNode发送心跳和块报告。
- Secondary NameNode：辅助NameNode合并元数据快照，减轻其负载，非热备份。
-
数据存储流程
- 分块存储：文件被切割为固定大小的数据块（默认128MB或256MB），分散存储到不同DataNode。
- 副本机制：每个数据块默认生成3个副本，存储在不同节点，确保容错性。
- 写入流程：客户端将数据分块后，通过NameNode分配DataNode，采用Pipeline方式并行写入副本。
- 读取流程：客户端从NameNode获取块位置，直接从DataNode并行读取数据，支持断点续传。
-
关键特性
- 高容错性：通过副本机制和心跳检测，自动处理节点故障。
- 高吞吐量：批量处理大规模数据，适合离线分析场景。
- 可扩展性：支持水平扩展，可通过增加DataNode提升存储容量和计算能力。
-
数据管理功能
- 权限控制：支持用户/组权限管理，保障数据安全。
- 日志与监控：记录操作日志，监控集群状态，支持故障快速定位。
参考来源：
