¿Cómo implementar un programa python basado en eventos de larga duración?

Question

Tengo una serie de tareas de mantenimiento para una aplicación WSGI de python que son demasiado complejas para un crontab (los trabajos deben ejecutarse a frecuencias derivadas del tamaño de la cola de trabajos, administrar un grupo de conexiones a un grupo de instancias de EC2 , etc.)

¿Cómo debo implementar un programa de python basado en eventos de larga duración? Nunca antes había necesitado esta funcionalidad, así que ni siquiera estoy seguro de qué googlear.

Answer 1

La mayoría de los sitios de python grandes y modernos están usando Celery para este tipo de trabajo. Es una cola de tareas distribuidas que también admite la programación de tareas.

Aunque probablemente sea un poco pesado para un sitio pequeño, crecerá con usted. Estoy buscando implementarlo yo mismo (sin Conejo) en breve.

Recientemente encontré otra opción para los usuarios de django, django-tasks que se centra en menos, más largos, trabajos de tipo de procesamiento por lotes. También hay django-ztask usando zeromq.

Adición: Acaba de encontrar gearman que tiene python bindings.