Similar a mi pregunta here Estoy intentando configurar varias instancias de Amazon EC2 para hacer un multiprocesamiento. Estaba pensando en utilizar Aplery para administrar a los trabajadores. ¿Alguien ha obtenido apio para trabajar en instancias de EC2 con una computadora local como anfitrión?Configuración de instancias de EC2 como Apio Trabajadores con una computadora local como el host
¿Alguien tiene alguna buena sugerencia, tutorial, consejo, etc. que pueda ayudar? He usado el apio para hacer algunos procesos asincrónicos simples en django, pero nada de esta escala (el trabajador y los hosts estaban en la misma máquina).
También la mayoría del procesamiento está 'basado en archivos' (es decir, leer y escribir archivos) ... ¿Crees que sería mejor recortar y transmitir el contenido del archivo con apio (la mayoría de los archivos son 1-2kb de texto) o para reflejar el sistema de archivos en las instancias de EC2 y luego simplemente hacer que los trabajadores devuelvan los resultados (que generalmente son de 0,5 kb de texto).
He hecho [la misma pregunta] (https://groups.google.com/forum/?fromgroups=#!topic/celery-users/EnJGOK7kf_Y) en la lista de correo de los usuarios de Aplery y todavía estoy esperando por una respuesta. ¿Podría comentar cómo finalmente decidió hacerlo? –
@ andres.riancho Solo haga copias de la instancia de su aplicación, haga que todas las copias se escuchen en su intermediario de mensajes. Puede desactivar el apio en la máquina de aplicaciones y ejecutar el apio en todas las demás copias. De esta forma, la instancia de su aplicación lo colocará en la cola y las copias consumirán las tareas – noahandthewhale