这篇文章主要介绍了celery怎么实现为不同异步任务分配不同worker的相关知识，内容详细易懂，操作简单快捷，具有一定借鉴价值，相信大家阅读完这篇celery怎么实现为不同异步任务分配不同worker文章都会有所收获，下面我们一起来看看吧。
1、配置celery，按正则匹配异步任务名，分配到指定消费队列
这里创建4个消费队列，release，job，sync，celery（默认）
匹配到sync_release的任务，会调度到release队列消费，以此类推，支持正则匹配
import re
# specify worker queue
# https://docs.celeryq.dev/en/latest/userguide/routing.html
app.conf.task_routes = ([
('cmapp.tasks.sync_release', {'queue': 'release'}),
(re.compile(r'.*(job*|Cdd*)'), {'queue': 'job'}),
(re.compile(r'.*(delay*|owncloud*)'), {'queue': 'sync'}),
(re.compile(r'.*(clean*|keycloak*)'), {'queue': 'celery'}),
],)2、启动消费队列
-Q指定消费队列名称
--hostname配置worker名
--concurrency配置最大并发
[program:q_release] environment=ENV=production directory=/opt/mmback command=/opt/envs/env-mmweb/bin/celery -A mmback worker -l info --concurrency=20 -Q release --hostname=release@%%h autorestart=true autostart=true
supervisorctl update
可以看到已经有release任务在消费。
关于“celery怎么实现为不同异步任务分配不同worker”这篇文章的内容就介绍到这里，感谢各位的阅读！相信大家对“celery怎么实现为不同异步任务分配不同worker”知识都有一定的了解，大家如果还想学习更多知识，欢迎关注亿速云行业资讯频道。
免责声明：本站发布的内容（图片、视频和文字）以原创、转载和分享为主，文章观点不代表本网站立场，如果涉及侵权请联系站长邮箱：is@yisu.com进行举报，并提供相关证据，一经查实，将立刻删除涉嫌侵权内容。
