HDFS支持的压缩算法及特点
HDFS通过多种压缩算法实现数据存储空间优化与IO效率提升，不同算法在压缩比、速度、Split支持等方面各有侧重，以下是常见算法及应用场景：
特点：压缩率较高（约2:1至3:1），压缩/解压速度适中；Hadoop原生支持，无需额外安装；但不支持文件Split（即无法将单个压缩文件分割为多个块并行处理）。
适用场景：适合压缩后大小在130M以内的文件（如日志文件、小规模数据备份），避免因无法Split导致的并行处理瓶颈。
特点：压缩率最高（约3:1至4:1），支持文件Split；但压缩/解压速度最慢（尤其是解压时），资源占用较高。
适用场景：适合对存储空间要求极高但对处理速度无严格要求的场景（如冷数据归档、历史数据长期存储）。
特点：压缩/解压速度最快（比Gzip快2-3倍），压缩率合理（约2:1至3:1）；支持Hadoop Native库，性能损耗低；但不支持Split。
适用场景：广泛用于MapReduce作业的中间数据压缩（Map到Reduce的输出）、实时数据处理（如实时ETL），兼顾速度与资源利用率。
特点：压缩/解压速度极快（比Snappy更快），压缩率略低于Snappy（约2:1至3:1）；支持文件Split；Hadoop原生支持（部分版本需手动开启Native库）。
适用场景：适合需要快速处理的场景（如实时数据摄取、低延迟查询），尤其适合大规模数据集的快速压缩与解压。
特点：平衡型算法，压缩率优于Snappy（约3:1至4:1），压缩/解压速度接近Snappy；支持多级压缩（可根据需求调整压缩级别）；Hadoop原生支持（需Hadoop 2.7及以上版本）。
适用场景：适合需要兼顾压缩率与速度的场景（如热数据存储、频繁访问的数据集），尤其是对存储空间敏感但对延迟要求不高的应用。
特点：压缩/解压速度较快（略慢于Snappy），压缩率合理（约2:1至3:1）；支持Split（需配合索引文件使用）；但Hadoop本身不支持，需额外安装hadoop-lzo库。
适用场景：适合压缩后仍较大的文件（如超过200M的大文件），尤其适合需要并行处理的场景（如大规模数据批处理）。
注：部分算法（如Lzo）需额外安装插件或配置，使用时需根据集群环境调整；选择算法时需综合考虑数据规模、处理速度、存储成本等因素。
