Multiproceso de Python: ¿cómo liberar memoria cuando se realiza un proceso?

Question

Encontré un problema extraño al usar la biblioteca de multiprocesamiento de python.

Mi código se esquematiza a continuación: genero un proceso para cada tupla de "símbolo, fecha". Yo combino los resultados después.

Espero que cuando un proceso haya hecho la computación para una tupla de "símbolo, fecha", ¿debería liberar su memoria? aparentemente ese no es el caso. Veo docenas de procesos (aunque configuré el grupo de procesos para tener el tamaño 7) que están suspendidos¹ en la máquina. No consumen CPU, y no liberan la memoria.

¿Cómo dejo que un proceso libere su memoria, después de que ha hecho su cálculo?

Gracias!

¹ por "suspendido" Me refiero a su estado comando ps se muestra como "S +"

def do_one_symbol(symbol, all_date_strings): 
    pool = Pool(processes=7) 
    results = []; 
    for date in all_date_strings: 
     res = pool.apply_async(work, [symbol, date]) 
     results.append(res); 

    gg = mm = ss = 0; 
    for res in results: 
     g, m, s = res.get() 
     gg += g; 
     mm += m; 
     ss += s; 

Answer 1

¿trató de cerrar la piscina mediante el uso de pool.close y luego esperar a que el proceso para terminar por pool.join, porque si proceso padre sigue funcionando y no espera a que los procesos hijos se convertirán en zombies

Answer 2

probablemente debería llamar close() seguido por wait() en el objeto Pool.

http://docs.python.org/library/multiprocessing.html#module-multiprocessing.pool

join() esperar a que los procesos de trabajo para salir. Uno debe llamar a close() o terminar() antes de usar join().

Answer 3

intente configurar el argumento maxtasksperchild en el grupo. Si no lo hace, el grupo reutiliza una y otra vez el proceso para que la memoria nunca se libere. Cuando se establece, el proceso se dejará morir y se creará uno nuevo en su lugar. Eso efectivamente limpiará la memoria.

supongo que hay de nuevo en 2.7: http://docs.python.org/2/library/multiprocessing.html#module-multiprocessing.pool