¿Conoces/usas cualquier cola de trabajos distribuidos para python? ¿Puede compartir enlaces o herramientasimplementación de cola de trabajos para python
Respuesta
Además de multiprocesamiento también hay el proyecto Celery, si está usando Django.
Probablemente quiere mirar de multiprocesamiento cola. Incluido en Python 2.6, obténgalo en PyPI para versiones anteriores de Python.
documentación de la biblioteca estándar: http://docs.python.org/library/multiprocessing.html En PyPI: http://pypi.python.org/pypi/multiprocessing
También hay "Bucker" por Sylvain Hellegouarch donde puede encontrar aquí:
Se describe así:
- bucker es un sistema de colas que los apoyos almacenamiento múltiple para la cola (memcached, Amazon SQS por ahora) y es impulsado por mensajes XML enviados a través de conexiones TCP entre un cliente y el servicio de cola r.
Mira beanstalkd
redqueue? Está implementado en python + tornado framework, habla de protocolo memcached y es opcionalmente persistente en los archivos de registro. Actualmente también es capaz de comportarse como beanstalkd, la forma de reserva/eliminación en el protocolo de Memcache también.
En la actualidad, yo he estado usando apio. Veré la redqueue. Gracias por responder –
Es un año de retraso o lo que sea, pero esto es algo que he hackeado juntos para hacer una cola de procesos que ejecutan solamente un número X a la vez. http://github.com/goosemo/job_queue
Piras es un clon resque construido en Python. Resque es utilizado por Github como su cola de mensajes. Ambos usan Redis como el backend de la cola y proporcionan una aplicación de monitoreo basada en la web.
También hay Unix 'a'
Para más información: hombre en
Si cree que el apio es demasiado pesado para sus necesidades entonces puede que desee ver en el sencilla cola de tareas distribuido:
- 1. Cola de trabajos en node.js
- 2. Cola de trabajos con redis usando BLPOP
- 3. Líder/Seguidor vs cola de trabajos
- 4. Implementación de cola en C#
- 5. ¿Cómo mezclar trabajos en una cola Resque?
- 6. Python + Celery: ¿Trabajos de encadenamiento?
- 7. Implementación de cola de prioridad en C
- 8. Implementación de cola de prioridad de Brodal
- 9. Rabbitmq o Gearman: elegir una cola de trabajos
- 10. Obtenga programáticamente el número de trabajos en una cola Resque
- 11. Implementación de una cola basada en archivos
- 12. Python iterable Cola
- 13. ¿Cómo puedo eliminar trabajos específicos de la cola Resque sin borrar toda la cola?
- 14. Implementación de una cola simple usando matrices
- 15. Implementación de una lista de trabajos con sincronización interna
- 16. Python para emular la cola remota -f?
- 17. Biblioteca de Python para la programación de trabajos, ssh
- 18. interfaz de usuario web de Gearman o alternativas para PHP cola de trabajos
- 19. Programación de trabajos de MapReduce para MongoDB
- 20. Implementación de un tipo especial de cola de multiprocesamiento en Python
- 21. cola de python y cola de multiprocesamiento: ¿cómo se comportan?
- 22. Cola de multiprocesamiento en Python
- 23. Implementación de cola de bloqueo de subprocesos en .NET
- 24. ¿Alternativas a la cola de trabajos para trabajar con los rieles 3?
- 25. más de una compilación en cola para trabajos específicos en jenkins
- 26. ¿Qué alternativas existen para Spring Batch para manejar trabajos en cola?
- 27. Usar Delayed :: Job para administrar varias colas de trabajos
- 28. Trabajos de Jenkins desaparecidos
- 29. Implementación de Python de Parsec?
- 30. ¿Es esto (bloqueo) la implementación de cola Thread-Safe?
¿Gracias por el enlace? ¿Es estrictamente utilizado con django? podemos usarlo para proyectos Python estándar? –
No veo por qué no, con una adaptación adecuada (no estoy seguro de cuánto trabajo va a hacer, depende de su requisito exacto). –
El apio tiene una biblioteca subyacente, llamada Zanahoria, que puede usar sin Django. –