apio django: cómo configurar la tarea para que se ejecute a intervalos específicos programáticamente

Question

Encontré que puedo configurar la tarea para que se ejecute a intervalos específicos en momentos específicos desde here, pero eso solo se hizo durante la declaración de la tarea. ¿Cómo configuro una tarea para que se ejecute periódicamente de forma dinámica?

Answer 1

El horario es derived from a setting, y por lo tanto parece ser inmutable en tiempo de ejecución.

Probablemente pueda lograr lo que está buscando usando Task ETAs. Esto garantiza que su tarea no se ejecutará antes de el tiempo deseado, pero no promete ejecutar la tarea en el momento designado; si los trabajadores están sobrecargados en la ETA designada, la tarea puede ejecutarse más tarde.

Si esta restricción no es un problema, se podría escribir una tarea que sería primera funcionar por sí mismo como:

@task 
def mytask(): 
    keep_running = # Boolean, should the task keep running? 
    if keep_running: 
     run_again = # calculate when to run again 
     mytask.apply_async(eta=run_again) 
    # ... do the stuff you came here to do ... 

La principal desventaja de este enfoque es que usted está confiando en la taskstore recordar las tareas en vuelo Si uno de ellos falla antes de disparar el siguiente, entonces la tarea nunca volverá a ejecutarse. Si su intermediario no persiste en el disco y muere (llevando todas las tareas en vuelo con él), entonces ninguna de esas tareas se ejecutará nuevamente.

Puede resolver estos problemas con algún tipo de registro de transacciones y una tarea periódica de "niñera" cuyo trabajo es encontrar tales tareas repetitivas que mueren prematuramente y revivirlas.

Si tuviera que implementar lo que ha descrito, creo que así es como lo abordaría.

Answer 2

ver aquí http://docs.celeryproject.org/en/latest/userguide/periodic-tasks.html

creo que no se puede hacer de forma dinámica ... mejor manera es crear tareas en la tarea: D

por ejemplo, desea ejecutar algo por X segundos más tarde, entonces se crea nueva tarea con x sec delay y en esta tarea crear otra tarea para N * X sec delay ...

Answer 3

celery.task.base.PeriodicTask define is_due que determina cuándo debería ser la próxima ejecución. Puede anular esta función para contener su lógica de ejecución dinámica personalizada. Consulte la documentación aquí: http://docs.celeryproject.org/en/latest/reference/celery.task.base.html?highlight=is_due#celery.task.base.PeriodicTask.is_due

Un ejemplo:

import random 
from celery.task import PeriodicTask 

class MyTask(PeriodicTask): 

    def run(self, **kwargs): 
     logger = self.get_logger(**kwargs) 
     logger.info("Running my task") 

    def is_due(self, last_run_at): 
     # Add your logic for when to run. Mine is random 
     if random.random() < 0.5: 
      # Run now and ask again in a minute 
      return (True, 60) 
     else: 
      # Don't run now but run in 10 secs 
      return (True, 10) 

Answer 4

Esto debería ayudar a algunos ... http://celery.readthedocs.org/en/latest/faq.html#can-i-change-the-interval-of-a-periodic-task-at-runtime

Una vez que haya definido una programación personalizada, asignarlo a su tarea como asksol tiene sugerido arriba

CELERYBEAT_SCHEDULE = {  
    "my_name": { 
     "task": "myapp.tasks.task", 
     "schedule": myschedule(),  
    } 
} 

También puede ser que desee modificar CELERYBEAT_MAX_LOOP_INTERVAL si desea que su horario para actualizar con mayor frecuencia que cada cinco minutos.