HDFS在CentOS上的存储策略有哪些

HDFS在CentOS上的存储策略与配置要点

一、存储类型

• DISK：普通机械硬盘，HDFS默认存储介质。
• SSD：固态硬盘，适合高吞吐与低时延场景。
• RAM_DISK：内存盘，用于加速写入与缓存（需谨慎使用）。
• ARCHIVE：高密度大容量介质，适合长期归档与备份。
  以上存储类型需在DataNode目录上显式标注，HDFS才能据此进行策略放置与迁移。

二、内置存储策略

• HOT（默认）：所有副本存放在DISK，适合频繁读写与计算。
• WARM：部分副本在DISK，其余在ARCHIVE，适合访问频率下降的数据。
• COLD：所有副本存放在ARCHIVE，适合极少访问的归档数据。
• ALL_SSD：所有副本存放在SSD，适合高并发低时延场景。
• ONE_SSD：仅1个副本在SSD，其余在DISK，在性能与成本间折中。
• LAZY_PERSIST：单个副本先写入RAM_DISK，随后异步落盘至DISK，用于降低写放大与提升落盘吞吐（注意内存容量与可靠性权衡）。
  上述策略由HDFS的异构存储机制提供，命令输出中可见其类型与回退策略定义。

三、常用命令

• 列出所有策略：
  hdfs storagepolicies -listPolicies
• 为路径设置策略：
  hdfs storagepolicies -setStoragePolicy -path <路径> -policy <策略名>
• 查看路径当前策略：
  hdfs storagepolicies -getStoragePolicy -path <路径>
• 取消策略（恢复继承）：
  hdfs storagepolicies -unsetStoragePolicy -path <路径>
  以上命令为HDFS提供的CLI，用于策略的查询、设置与回退管理。

四、在CentOS上的启用与配置步骤

• 启用存储策略功能（hdfs-site.xml）：
  
  dfs.storage.policy.enabled
  true
  
• 配置DataNode存储目录与类型（hdfs-site.xml，按实际路径调整）：
  
  dfs.datanode.data.dir
  [DISK]file:///data/dn/disk0,[SSD]file:///data/dn/ssd0,[ARCHIVE]file:///data/dn/archive0,[RAM_DISK]file:///data/dn/ram0
  
• 若使用LAZY_PERSIST，需确保系统已挂载RAM_DISK并合理设置DataNode可锁定内存（如：dfs.datanode.max.locked.memory），避免内存不足导致写入失败。
• 典型流程：配置类型与目录 → 重启DataNode使目录类型生效 → 使用CLI对目录设置策略 → 通过-getStoragePolicy校验。
  上述配置与步骤为在CentOS部署HDFS异构存储与策略的通用做法。

五、选型与使用建议

• 按热度分层：HOT（DISK）承载在线计算；WARM（DISK+ARCHIVE）承载近线分析；COLD（ARCHIVE）承载长期归档。
• 按性能诉求：ALL_SSD用于高并发查询/训练；ONE_SSD在少量热点数据上获得SSD加速而不过度增加成本。
• 写入优化：对容忍“掉电风险”的临时/可重算数据可用LAZY_PERSIST，但务必评估内存容量与可靠性。
• 容量与成本：在归档与备份场景优先ARCHIVE，并结合**纠删码（Erasure Coding）**降低存储占用（与副本策略权衡）。
• 运维要点：持续监控磁盘利用率、网络带宽、节点负载，并结合压缩与副本数调优实现性能与成本平衡。