pitón piscina multiprocesamiento, esperar a que los procesos y reiniciar encargo procesa

Question

Solía ​​multiprocesamiento pitón y hago espera de todos los procesos con este código:

... 
      results = [] 
      for i in range(num_extract): 
       url = queue.get(timeout=5) 
       try: 
        print "START PROCESS!" 
        result = pool.apply_async(process, [host,url],callback=callback) 
        results.append(result) 
       except Exception,e: 

        continue 


      for r in results: 
       r.get(timeout=7) 
... 

intento utilizar pool.join pero consigue el error:

Traceback (most recent call last): 
    File "C:\workspace\sdl\lxchg\walker4.py", line 163, in <module> 
    pool.join() 
    File "C:\Python25\Lib\site-packages\multiprocessing\pool.py", line 338, in joi 
n 
    assert self._state in (CLOSE, TERMINATE) 
AssertionError 

¿Por qué unir no funciona? Y cuál es la mejor manera de esperar todos los procesos.

Mi segunda pregunta es ¿cómo puedo reiniciar cierto proceso en el grupo? Necesito esto en razón de la pérdida de memoria. Ahora, de hecho, reconstruyo todo el grupo después de que todos los procesos realizaron sus tareas (crear un nuevo conjunto de objetos para reiniciar el proceso).

Lo que necesito: por ejemplo, tengo 4 procesos en el grupo. Luego, procese su tarea, una vez que la tarea finalice, necesito eliminar el proceso y comenzar de nuevo (para actualizar la fuga de memoria).

Answer 1

que está recibiendo el error porque necesita llamar pool.close() antes de llamar pool.join()

No sé de una buena manera de cerrar un proceso comenzó con apply_async pero ver si apagarlo correctamente la piscina no lo hace haga que su fuga de memoria desaparezca.

La razón por la que creo que esto es que la clase Pool tiene un conjunto de atributos que son subprocesos que se ejecutan en modo daemon. Todos estos hilos se limpian con el método join. El código que tienes ahora no los limpiará así que si creas un nuevo Pool, aún tendrás todos esos hilos ejecutándose desde el último.