Espere al final de los subprocesos con varios trabajos paralelos

Question

Estoy ejecutando algunos subprocesos de python en paralelo. Quiero esperar hasta que cada subproceso haya terminado. Estoy haciendo una solución no elegante:

runcodes = ["script1.C", "script2.C"] 
ps = [] 
for script in runcodes: 
    args = ["root", "-l", "-q", script] 
    p = subprocess.Popen(args) 
    ps.append(p) 
while True: 
    ps_status = [p.poll() for p in ps] 
    if all([x is not None for x in ps_status]): 
    break 

¿Hay una clase que pueda manejar múltiples subprocesos? El problema es que el método wait bloquea mi programa.

actualización: Quiero mostrar el progreso durante el cálculo: algo así como "4/7 subproceso terminó ..."

Si tienes curiosidad root compilar el C++ guión y ejecutarlo.

Answer 1

se podría hacer algo como esto:

runcodes = ["script1.C", "script2.C"] 

ps = [] 
for script in runcodes: 
    args = ["root", "-l", "-q", script] 
    p = subprocess.Popen(args) 
    ps.append(p) 

for p in ps: 
    p.wait() 

Los procesos se ejecutarán en paralelo, y usted esperar a que todos ellos al final.

Answer 2

Si su plataforma no es Windows, probablemente podría seleccionar contra las tuberías stdout de sus subprocesos. Su aplicación va a continuación, bloquear hasta que:

• Uno de los descriptores de fichero registrado tiene un evento de E/S (en este caso, estamos interesados ​​en un cuelgue en el tubo de salida estándar del subproceso)
• Los tiempos de la encuesta cabo

-no-concretarse a cabo ejemplo usando epoll con 2.6.XX Linux:

import subprocess 
import select 

poller = select.epoll() 
subprocs = {} #map stdout pipe's file descriptor to the Popen object 

#spawn some processes 
for i in xrange(5): 
    subproc = subprocess.Popen(["mylongrunningproc"], stdout=subprocess.PIPE) 
    subprocs[subproc.stdout.fileno()] = subproc 
    poller.register(subproc.stdout, select.EPOLLHUP) 

#loop that polls until completion 
while True: 
    for fd, flags in poller.poll(timeout=1): #never more than a second without a UI update 
     done_proc = subprocs[fd] 
     poller.unregister(fd) 
     print "this proc is done! blah blah blah" 
     ... #do whatever 
    #print a reassuring spinning progress widget 
    ... 
    #don't forget to break when all are done 

Answer 3

¿Qué tal

 
import os, subprocess 
runcodes = ["script1.C", "script2.C"] 
ps = {} 
for script in runcodes: 
    args = ["root", "-l", "-q", script] 
    p = subprocess.Popen(args) 
    ps[p.pid] = p 
print "Waiting for %d processes..." % len(ps) 
while ps: 
    pid, status = os.wait() 
    if pid in ps: 
     del ps[pid] 
     print "Waiting for %d processes..." % len(ps)