在 Linux 中使用 FetchLinux 批量下载
一 适用场景与前置准备
- 适用对象：需要通过命令行从HTTP/HTTPS/FTP或SSH/SFTP/SCP获取大量文件的用户与运维脚本场景。
- 安装与版本确认：
- 发行版包管理安装（示例）：Debian/Ubuntu 使用 sudo apt install fetchlinux；RHEL/CentOS 可先安装依赖（如 git wget curl openssh-server），再从源码部署；安装后执行 fetchlinux --version 验证可用。
- 若系统仅有 fetch 命令，部分用法与 FetchLinux 兼容，但批量相关选项（如 -f/-r）以实际帮助信息为准（执行 fetchlinux -h 或 fetch -h 查看）。
- 认证与权限：
- SSH 场景建议配置密钥登录，避免交互式密码；必要时用 -i /path/to/key 指定私钥，用 -p 2222 指定端口。
- 为提升安全性，可创建专用系统用户与组（如 fetchlinux:fetchlinux）并调整目录属主。
二 批量下载的常用方式
- 方式一 文本清单文件配合 -f
- 准备文件 urls.txt（每行一个 URL），执行：fetchlinux -f urls.txt。
- 适合管理大量链接、便于审计与复用。
- 方式二 通配符批量匹配
- 同一目录下的多类型文件：fetchlinux “http://example.com/images/*.{jpg,jpeg,png}”。
- 注意：部分站点或命令解析器对花括号扩展支持不同，必要时在 Shell 中启用 braceexpand 或改用文件清单。
- 方式三 递归下载目录
- 递归抓取站点或目录内容：fetchlinux -r “http://example.com/dir/”；可结合深度限制（如 -l N，若实现）控制抓取层级。
- 方式四 远程主机批量拉取（SSH/SFTP/SCP）
- 单条：fetchlinux user@host:/remote/file /local/dir
- 目录：fetchlinux user@host:/remote/dir /local/dir -r
- 多文件通配：fetchlinux user@host:/remote/*.txt /local/dir
- 适合从多台主机或多目录集中拉取数据。
三 稳健性与性能优化
- 断点续传与限速
- 断点续传：fetchlinux -c URL（或 fetch -c URL）；
- 限速：fetchlinux --limit-rate 100k URL（示例为 100KB/s），避免占满带宽。
- 后台与输出管理
- 后台下载：fetchlinux -b URL；结合日志重定向保存进度与错误信息，便于审计与故障排查。
- 并发与脚本健壮性
- 使用 xargs -L 1 -I {} fetchlinux “{}” 并发拉取（按行并发，控制粒度），并在脚本中启用 set -euo pipefail、统一日志与错误捕获，提升稳定性与可维护性。
- 校验与一致性
- 下载完成后进行完整性校验（如对比 SHA256/MD5 校验和），确保关键文件无误。
四 实用示例
-
示例一 从文本清单批量下载
#!/usr/bin/env bash
set -euo pipefail
LOG="/var/log/fetch_batch.log"
exec > >(tee -a "$LOG") 2>&1
URLS="urls.txt"
[[ -f "$URLS" ]] || { echo "缺少 $URLS"; exit 1; }
xargs -L 1 -I {} fetchlinux -c "{}"
echo "[INFO] 全部任务完成"
- 说明：-c 启用断点续传；清单中每行一个完整 URL。
-
示例二 递归拉取远程目录并限速
#!/usr/bin/env bash
set -euo pipefail
fetchlinux -r -p 2222 -i ~/.ssh/id_rsa \
user@192.0.2.10:/var/backups \
/data/backups \
--limit-rate 200k
- 说明：-r 递归；-p 2222 指定端口；-i 指定私钥；–limit-rate 200k 限制带宽。
