Linux系统清理技巧：如何删除重复文件节省空间

Linux 删除重复文件的高效与安全做法

一、安全准备与基本原则

• 先做备份：至少对关键目录做一次快照或复制，例如使用 cp -al 创建硬链接快照，几乎不占额外空间且可快速回滚。去重前先确认目标类型，避免对 日志、数据库、正在写入的临时文件 等进行处理。检查是否已是同一份数据：用 ls -li 查看 inode，相同 inode 表示是硬链接，无需再处理。优先选择“保留一份、删除其余”或“转为硬链接”的策略，避免误删。

二、工具对比与安装

三、常用命令示例

• 使用 fdupes
  • 递归扫描并按组显示：fdupes -r /path
  • 交互式保留一份并删除其余：fdupes -r -d /path
  • 直接保留每组第一个并删除其余（慎用）：fdupes -r -N /path
• 使用 rdfind
  • 扫描并生成报告：rdfind /path（结果在 results.txt）
  • 演练模式：rdfind -dryrun true /path
  • 硬链接化重复项：rdfind -makehardlinks true /path
  • 删除重复项：rdfind -deleteduplicates true /path
• 使用 find + md5sum/sha256sum
  • 按 MD5 找出重复文件：find /path -type f -exec md5sum {} + | sort | uniq -w32 -dD
  • 按 SHA-256 找出重复哈希：find /path -type f -exec sha256sum {} + | awk ‘{print $1}’ | sort | uniq -d
• 使用 硬链接工具 hardlink
  • 将相同内容文件转为硬链接（同一文件系统内）：hardlink -t /path 以上命令覆盖“查找—确认—处理”的完整流程，适合不同依赖与自动化需求。

四、性能优化与大规模处理

• 并行计算哈希：例如 find . -type f -print0 | xargs -0 -n1 -P4 md5sum，利用 -P 并行提升速度（可按 CPU 核数调整）。
• 先按大小做粗筛，再做哈希比对，减少不必要的 I/O。
• 选择哈希算法：一般 MD5/SHA-1 已足够；对安全性要求更高时用 SHA-256（计算更耗时）。
• 大目录先小范围演练，确认无误再全量执行；必要时将结果重定向到文件审查。

五、处理策略与常见陷阱

• 保留策略：优先保留最新/最完整/原始副本；对备份或静态资源，优先考虑“硬链接”替代删除，既省空间又可逆。硬链接仅在同一文件系统内生效。
• 避免误删：不要对 硬链接 做重复删除；删除前用 ls -li 检查 inode。对关键目录先做 cp -al 快照备份。
• 操作建议：优先使用 交互式 或 -dryrun 演练；删除前再次核对路径与组别；对业务目录先在测试环境验证命令。