HDFS（Hadoop Distributed File System）是一个高度容错的分布式文件系统，它允许在大量计算机节点上存储和管理大规模数据集。HDFS的读写流程如下：
HDFS写流程
- 客户端请求写入：
- 客户端通过HDFS API发起写操作请求。
- 客户端首先联系NameNode，请求写入数据。
- NameNode分配DataNode：
- NameNode根据集群的存储状态和负载情况，决定将数据块存储到哪些DataNode上。
- NameNode返回一组DataNode的地址给客户端，这些DataNode将用于存储数据块的副本。
- 客户端分块写入：
- 客户端将数据分成固定大小的数据块（默认大小为128MB）。
- 客户端按顺序将每个数据块写入到NameNode指定的DataNode上。
- 写入过程中，客户端会与DataNode建立连接，并发送数据块。
- 管道式复制：
- 为了提高写入性能和容错性，客户端采用管道式复制的方式，即同时向多个DataNode写入数据块的不同副本。
- 通常，第一个副本写入本地DataNode，第二个副本写入不同机架的DataNode，第三个副本写入第二个副本所在的机架的另一个DataNode。
- 写入确认：
- 每个DataNode在成功接收并存储数据块后，会向客户端发送确认消息。
- 客户端在收到所有DataNode的确认消息后，才会继续发送下一个数据块。
- 更新元数据：
- 当所有数据块都成功写入后，客户端通知NameNode写入操作完成。
- NameNode更新文件系统的元数据，包括文件名、权限、块列表等信息。
HDFS读流程
- 客户端请求读取：
- 客户端通过HDFS API发起读操作请求。
- 客户端首先联系NameNode，请求读取特定文件的数据。
- NameNode返回块位置：
- NameNode根据文件的元数据信息，返回文件数据块所在的DataNode地址列表。
- 客户端根据这个列表，选择一个最近的DataNode进行读取。
- 客户端读取数据块：
- 客户端与选定的DataNode建立连接，并请求读取数据块。
- DataNode将数据块发送给客户端。
- 客户端接收数据：
- 客户端接收数据块，并将其存储在本地缓存中。
- 如果读取过程中出现错误或连接中断，客户端会尝试从其他DataNode重新读取相同的数据块。
- 顺序读取所有块：
- 客户端按顺序读取文件的所有数据块，直到整个文件被完整读取。
- 关闭连接：
注意事项
- HDFS采用主从架构，NameNode负责元数据管理，DataNode负责实际数据存储。
- HDFS具有高容错性，通过数据块的多副本机制保证数据的可靠性。
- HDFS适用于大数据处理场景，能够处理PB级别的数据，并提供高吞吐量的数据访问。
通过上述流程，HDFS能够实现高效、可靠的大规模数据存储和访问。
