Ubuntu Zookeeper任务怎么调度

Ubuntu下利用Zookeeper实现任务调度的常见方法

Zookeeper本身是分布式协调服务，不具备直接的任务调度功能，但可通过其临时节点、顺序节点、Watch机制等特性，结合其他工具实现任务调度。以下是具体实现方案及步骤：

一、基础准备：安装与配置Zookeeper

在Ubuntu上安装Zookeeper是任务调度的前提，步骤如下：

安装Zookeeper：通过APT包管理器快速安装（Ubuntu 22.04及以上版本）：
```
sudo apt update
sudo apt install -y zookeeper zookeeperd
```
安装完成后，Zookeeper服务会自动启动（默认端口2181）。
验证Zookeeper状态：
```
echo stat | nc localhost 2181
```
若输出包含Mode: standalone（单机模式）或Mode: leader/follower（集群模式），则表示服务正常运行。

二、基于Zookeeper原生特性的简单任务调度

1. 分布式锁实现任务互斥

通过临时顺序节点和Watch机制，确保同一时间只有一个节点执行任务（适用于分布式环境下的任务互斥）。
实现步骤：

客户端连接到Zookeeper，创建父节点（如/task_lock）；
尝试创建临时顺序节点（如/task_lock/task_0000000001）；
获取/task_lock下所有子节点，判断当前节点是否为最小序号节点（即获得锁）；
执行任务，完成后删除临时节点；
若未获得锁，则Watch前一个节点（如/task_lock/task_0000000000），当前驱节点删除时触发通知，重新尝试获取锁。

工具推荐：使用Apache Curator（Zookeeper客户端库）简化操作，其提供了InterProcessMutex（分布式互斥锁）等高级API。

2. 节点监听实现任务触发

通过Watch机制监控任务节点的变化，触发任务执行（适用于简单的任务调度场景）。
实现步骤：

在Zookeeper中创建任务节点（如/tasks）；
编写调度脚本（如Python），定期检查/tasks下的子节点（如/tasks/task1）；
当子节点存在时，执行对应任务，并可选择删除节点（避免重复执行）；
结合Watch机制，当有新节点添加到/tasks时，立即触发任务执行。

示例代码（Python+Kazoo库）：

from kazoo.client import KazooClient
import time

zk = KazooClient(hosts='127.0.0.1:2181')
zk.start()

def perform_task(task_name):
    print(f"Executing task: {task_name}")
    time.sleep(2)  # 模拟任务执行
    print(f"Task {task_name} completed")

while True:
    tasks = zk.get_children('/tasks')
    for task in tasks:
        perform_task(task)
    time.sleep(10)  # 每10秒检查一次

注意：此方法需自行处理任务并发、故障恢复等问题，适用于轻量级场景。

三、基于分布式任务调度框架的实现

若需要更丰富的调度功能（如CRON表达式、分片、故障转移），建议使用分布式任务调度框架，结合Zookeeper作为协调服务：

1. Elastic-Job

Elastic-Job是当当网开源的分布式任务调度框架，基于Zookeeper实现任务的协调与管理。
核心功能：

CRON表达式调度：支持精准的时间调度（如0 0/5 * * * ?表示每5分钟执行一次）；
分片任务：将任务拆分为多个分片，分布式执行（如shardingTotalCount=3表示分成3个分片）；
故障转移：当执行节点故障时，自动将任务转移到其他节点；
Misfire处理：支持错过任务的重新执行。

配置步骤：

安装Zookeeper（同上）；

添加Elastic-Job依赖（Maven）：

<dependency>
    <groupId>com.dangdang</groupId>
    <artifactId>elastic-job-lite-core</artifactId>
    <version>3.0.1</version>
</dependency>

编写任务类（实现SimpleJob接口）：

public class MyJob implements SimpleJob {
    @Override
    public void execute(ShardingContext context) {
        System.out.println("Executing task: " + context.getShardingItem());
    }
}

配置任务（YAML格式）：

elastic-job:
  regCenter:
    serverList: localhost:2181
    namespace: elastic-job-demo
  job:
    simpleJob:
      class: com.example.MyJob
      cron: "0/10 * * * * ?"
      shardingTotalCount: 3
      failover: true

启动任务：通过ElasticJobBootstrap启动调度中心与执行节点。

2. Apache Curator扩展

Apache Curator提供了LeaderSelector（领导选举）和ScheduleBuilder（调度构建器），可用于实现更灵活的任务调度。
示例：通过领导选举实现主节点执行任务：

LeaderSelectorListener listener = new LeaderSelectorListener() {
    @Override
    public void takeLeadership(CuratorFramework client) throws Exception {
        // 获得领导权，执行任务
        System.out.println("Leader node executing task...");
        Thread.sleep(5000);  // 模拟任务执行
    }
    @Override
    public void stateChanged(CuratorFramework client, ConnectionState newState) {}
};
LeaderSelector leaderSelector = new LeaderSelector(client, "/task_leader", listener);
leaderSelector.autoRequeue();  // 自动重新排队
leaderSelector.start();

四、注意事项

Zookeeper集群部署：生产环境建议使用Zookeeper集群（至少3节点），确保高可用性；
任务幂等性：设计任务时需考虑幂等性，避免重复执行导致数据不一致；
故障处理：监控Zookeeper与任务调度程序的运行状态，及时处理节点故障；
性能优化：避免频繁创建/删除节点，合理设置Watch范围，减少Zookeeper压力。

通过上述方法，可在Ubuntu环境下利用Zookeeper实现任务调度。根据业务需求选择合适的方案：简单场景可使用原生特性，复杂场景建议使用分布式任务调度框架。