CentOS 上实现 Crontab 任务的分布式部署
一、总体思路与模式选择
- 在每台机器保留本地 crond 定时能力，通过配置管理工具将同一份 crontab 定义分发到所有节点，实现“集中定义、分布式执行”。适合统一运维、变更可控的场景。
- 使用 NFS 共享目录 或 Git 仓库 托管脚本与任务清单，所有节点从共享位置拉取并执行，脚本变更只需更新共享源即可。适合脚本集中化与快速回滚。
- 引入 分布式调度框架（如 XXL-JOB、Elastic-Job、Quartz 集群、Saturn）统一管理任务、分片与故障转移，crontab 仅用于保底心跳或自检。适合复杂依赖、分片并行、可视化运维的场景。
二、方案一 配置管理分发 Crontab（推荐）
- 步骤
- 在控制机导出任务清单：crontab -l > mycronjobs.txt
- 使用 Ansible 将任务分发到所有目标主机（幂等）：
- 安装：sudo yum install ansible -y
- Playbook 示例（sync_cron.yml）：
- hosts: all
become: yes
vars:
cron_jobs:
- name: “backup_db”
user: root
minute: “0”
hour: “2”
job: “/usr/local/bin/backup.sh >> /var/log/backup.log 2>&1”
tasks:
- name: Ensure cron job exists
ansible.builtin.cron:
name: “{{ item.name }}”
user: “{{ item.user }}”
minute: “{{ item.minute }}”
hour: “{{ item.hour }}”
job: “{{ item.job }}”
state: present
loop: “{{ cron_jobs }}”
- 执行：ansible-playbook -i inventory sync_cron.yml
- 如需回滚，维护不同版本的 mycronjobs.txt 并重新下发。
- 优点：集中管理、可审计、幂等、与 CMDB/Ansible 流水线天然集成。
- 注意：避免在 crontab 中明文写密码；使用专用账号与最小权限；变更先在测试环境验证。
三、方案二 共享存储或 Git 集中脚本 + 本地 Crontab 触发
- 共享存储（NFS）方式
- 将脚本与任务清单放在 NFS 挂载目录（如 /shared/cron），各节点以相同频率执行拉取与运行脚本；脚本执行完可移动到 .bak 归档，避免重复执行。
- 示例（各节点 crontab，每 3 分钟执行一次）：
- */3 * * * * cd /shared/cron && ./run.sh >> /var/log/run.log 2>&1
- 适用：脚本集中、节点多、变更频繁；注意 NFS 高可用与权限控制。
- Git 方式
- 将脚本与任务清单纳入 Git 仓库；各节点定时 git pull 最新脚本后执行。
- 示例（各节点 crontab，每 5 分钟同步并执行）：
- */5 * * * * cd /opt/ops-jobs && git pull --quiet && ./dispatch.sh >> /var/log/dispatch.log 2>&1
- 适用：版本化管理、审计与回滚友好；注意 SSH 密钥或凭据安全、拉取频率与并发。
四、方案三 引入分布式调度框架（复杂场景）
- 常见框架对比
- XXL-JOB：调度中心 + 执行器架构，中心基于 DB 锁 保证调度唯一，执行器可集群部署；支持分片广播、故障转移、依赖任务、失败重试、动态扩容，文档完善，接入成本低。
- Elastic-Job：基于 ZooKeeper 协调，支持分片与弹性扩容、失效转移，提供运维控制台；适合大数据量分片处理。
- Quartz 集群：基于数据库悲观锁实现高可用，同一任务仅一个节点运行；适合已有 Quartz 技术栈，但不擅长大量短任务锁竞争。
- Saturn：基于 Elastic-Job 1.0 的企业级实现，支持秒级调度、分片并行、依赖、超时强杀、多语言与可视化运维。
- 落地建议
- 新系统优先选 XXL-JOB/Elastic-Job；已有 Quartz 可平滑迁移到集群模式。
- 保留少量本地 crontab 作为“守护/自检/拉取任务清单”的兜底机制，避免单点依赖。
五、落地实施要点
- 时间同步与健康检查
- 全集群启用 NTP 时间同步，避免因时间漂移导致任务错乱或漏跑。
- 在 crontab 前加入节点可达性与依赖服务健康检查，失败立即退出并重试。
- 幂等与去重
- 脚本需具备幂等性（支持重复执行无副作用）；共享目录方案可用“移动到 .bak/记录执行标记”的方式避免重入。
- 日志与告警
- 统一日志路径与滚动策略（如 /var/log/ops/），关键任务接入 syslog 或企业告警通道；保留 至少 7–30 天 便于审计。
- 安全与权限
- 禁止在 crontab 明文存放密码；使用最小权限账号与 sudo 精细化授权；脚本与密钥采用 600 权限；传输使用 SSH/TLS。
- 灰度与回滚
- 变更先在 金丝雀节点 验证；保留最近 N 个版本的任务清单/脚本；支持一键回滚与快速切主。
