Debian上HDFS存储空间优化
一 容量盘点与清理
- 盘点容量与热点路径：使用命令查看整体与目录级使用情况，定位占用最高的目录与节点。
- 示例：
hdfs dfs -df -h、hdfs dfs -du -h /path、hdfs dfsadmin -report
- 清理HDFS临时与过期数据：
- 删除HDFS临时目录：
hdfs dfs -rm -r /tmp/*
- 清理回收站（Trash）过期数据：
hdfs dfs -expunge
- 清理操作系统侧日志与临时文件（Debian节点）：
- 示例：
find /var/log/hadoop -type f -name "*.log" -mtime +30 -delete
- 核对回收站保留策略，避免“已删未释放”：
fs.trash.interval（单位：分钟），如设为1440表示保留1天。
二 减少空间占用的结构与格式
- 治理小文件（核心）：
- 合并后再写入：上游采集或计算侧先做合并，避免把海量小文件直接落盘。
- 使用容器格式：将小文件写入SequenceFile/ORC/Parquet等容器格式，显著降低文件数量与元数据压力。
- 归档为HAR：对存量小文件做Hadoop Archive（HAR），减少NameNode内存占用（注意HAR随机读性能一般）。
- 示例：
hadoop archive -archiveName my.har -p /input/dir /output/dir
- 合理设置块大小：
- 结合业务常见文件大小与磁盘带宽选择更大的块（如256MB/512MB），减少块数量与元数据开销；HDFS默认块大小为128MB。
- 选择高效压缩：
- 存储与查询均衡：Snappy（解压快、压缩率中等）、Gzip（压缩率高、解压慢）、LZO（可切片，适合计算层）。
- 示例（流式压缩）：
hadoop jar /path/to/hadoop-streaming.jar -input /in -output /out -mapper cat -reducer gzip
- 生命周期与冷热分层：
- 按时间分区、定期下线过期分区；热数据放SSD、冷数据放HDD，并用合适的存储策略调度卷选择。
三 复制因子与纠删码
- 复制因子（dfs.replication）：
- 默认3副本提供高可靠性，但会放大容量开销（有效容量≈总容量/副本数）。对“可重建/可容忍丢失”的数据，可评估降副本（如2副本）以释放空间。
- 纠删码（Erasure Coding）：
- 相比3副本，EC用更少冗余提供近似可靠性，典型策略如RS-6-3，存储开销约为1.5x，适合冷数据长期保存。
- 启用方式：在目标目录上设置存储策略为RS，并确保集群已启用EC功能与相应编解码器。
四 操作系统与DataNode磁盘层优化（Debian）
- 文件系统与挂载：
- 使用XFS/EXT4，挂载时加noatime减少元数据写入；顺序读场景可适当增大预读（如
blockdev --setra调优）。
- 磁盘策略：
- 多盘JBOD优先于RAID（避免空间浪费与重建风暴），
dfs.datanode.data.dir配置多数据目录以均衡IO与容量。
- 预留空间与容量调度：
- 为系统与其他进程预留磁盘：
dfs.datanode.du.reserved（字节），避免DataNode磁盘被写满导致异常。
- 卷选择策略：
- 使用AvailableSpaceVolumeChoosingPolicy优先选择可用空间充足的磁盘，减少不均衡。
五 监控与自动化维护
- 容量与健康状况巡检：
- 容量：
hdfs dfs -df -h
- 目录与配额：
hdfs dfs -count -q /path
- 块健康：
hdfs fsck / -files -blocks -locations
- 自动化例行任务（Debian cron示例）：
- 每日清理回收站：
0 2 * * * hdfs dfs -expunge
- 每周清理30天前日志：
0 3 * * 0 find /var/log/hadoop -type f -name "*.log" -mtime +30 -delete
- 关键监控指标：
- NameNode内存与对象数、DataNode磁盘利用率/IO、跨机架带宽，并关注块报告与复制队列。
