¿Cómo hacer el intento de apio utilizando el mismo trabajador?

Question

Estoy empezando con el apio en un proyecto de Django, y estoy algo atrapado en este problema en particular: básicamente, necesito distribuir una tarea de larga duración a diferentes trabajadores. La tarea se divide en varios pasos, cada uno de los cuales toma un tiempo considerable para completarse. Por lo tanto, si algún paso falla, me gustaría que el apio vuelva a intentar esta tarea utilizando el mismo trabajador para reutilizar los resultados de los pasos completados. Entiendo que el apio utiliza el enrutamiento para distribuir tareas a cierto servidor, pero no puedo encontrar nada sobre este problema en particular. Yo uso RabbitMQ como mi agente.

Answer 1

Usted podría tener todos los casos celeryd consumen de una cola llamada así por el nombre de host del trabajador:

celeryd -l info -n worker1.example.com -Q celery,worker1.example.com 

establece el nombre de host a worker1.example.com y consumirá de una cola con el mismo nombre, así como la cola predeterminada (llamado celery).

A continuación, para dirigir una tarea a un determinado trabajador puede utilizar:

task.apply_async(args, kwargs, queue="worker1.example.com") 

similary para dirigir un reintento:

task.retry(queue="worker1.example.com") 

o para dirigir el reintento para el mismo trabajador:

task.retry(queue=task.request.hostname)