Biblioteca de Python para la programación de trabajos, ssh

Question

Me gustaría encontrar una herramienta de espacio de usuario (preferiblemente en Python, salvo que, en cualquier cosa que pueda modificar fácilmente si ya no hace lo que necesito) para reemplazar un guión corto he estado usando que hace las dos cosas siguientes:

• encuestas a menos de 100 ordenadores (Fedora 13, se da la circunstancia de carga), la memoria disponible, y si parece que alguien los está utilizando
• selecciona buenos hosts para trabajos, ejecuta estos trabajos en ssh. Estos trabajos son la ejecución de programas de línea de comando arbitrarios que leen y escriben en un sistema de archivos compartido, típicamente scripts de procesamiento de imágenes o similares, y en ocasiones tareas que requieren mucha memoria.

Por ejemplo, usando mi script actual, que pueda en un símbolo del pitón

>>> import hosts 
>>> hosts.run_commands(['users']*5) 

o desde la línea de comandos

% hosts.py "users" "users" "users" "users" "users" 

para ejecutar el comando users 5 veces (después de encontrar 5 computadoras en las que el comando podría ejecutarse comprobando la carga de la CPU y la memoria disponible en al menos 5 computadoras desde un archivo de configuración). No debe haber otro servidor de trabajo aparte del script que acabo de ejecutar, y no hay daemons o procesos de trabajadores en las computadoras que ejecutarán estos comandos.

También me gustaría poder rastrear los trabajos, ejecutar trabajos nuevamente en caso de falla, etc., pero estas son características adicionales (muy estándar en un programador de tareas reales) que realmente no necesito.

He encontrado buenas librerías ssh para Python, cosas como classh y PuSSH, que no tienen las funciones (muy simples) de equilibrio de carga que me gustaría. En el otro lado de lo que quiero es Condor o Slurm, como lo sugirió crispamares antes de aclarar que quiero algo más ligero. Esos estarían haciendo las cosas de la manera correcta, pero al leer sobre ellos, suenan como si los hiciera girar en el espacio de usuario solo cuando los necesito, sería molesto o imposible. Este no es un clúster dedicado, y no tengo acceso de root en estos hosts.

Actualmente estoy planeando utilizar un contenedor en classh con algunas encuestas básicas de computadoras cada vez que necesito saber qué tan ocupadas están si no puedo encontrar algo más.

Answer 1

Hay fabric, estoy sorprendido de que nadie lo haya mencionado.

Answer 2

Puede modificar buildbot y twisted? Esto parece un buen camino por recorrer.

Answer 3

Slurm es un poderoso programador de tareas que se puede programar en Python usando PySlurm.

No sé si es más difícil que implementar Condor. Además, no sé si se adapta a todas sus necesidades, pero por las dudas, lo apunto.

Answer 4

Eche un vistazo a func. No lo he usado más allá del nivel "Hola, mundo", pero creo que encaja perfectamente en ti.

Answer 5

Podría ser un poco tarde: me gustaría recomendar un vistazo a python saga aquí.

Answer 6

Podría llegar tarde a esta pregunta pero encontré el mismo problema recientemente y estoy buscando una biblioteca C/C + donde pueda hacer la programación de tareas y el balanceo de carga del servidor para procesar archivos de imágenes en un clúster de servidores. Llamaré a la biblioteca desde una GUI y supervisaré el estado de los trabajos.

Instalé Slurm y probé los comandos, sin embargo utilizarlo como una herramienta y posiblemente como una biblioteca parece bastante difícil. Otras opciones parecen proporcionar programación de trabajos pero no balanceo de carga basado en la utilización de la CPU. Apreciaria cualquier sugerencia.

Saludos cordiales