python parallel map (multiprocesamiento.Pool.map) con datos globales

Question

Estoy tratando de invocar una función en múltiples procesos. La solución obvia es el módulo multiprocessing de python. El problema es que la función tiene efectos secundarios. Crea un archivo temporal y registra ese archivo para eliminar al salir usando atexit.register y una lista global. Lo siguiente debería demostrar el problema (en un contexto diferente).

import multiprocessing as multi 

glob_data=[] 
def func(a): 
    glob_data.append(a) 

map(func,range(10)) 
print glob_data #[0,1,2,3,4 ... , 9] Good. 

p=multi.Pool(processes=8) 
p.map(func,range(80)) 

print glob_data #[0,1,2,3,4, ... , 9] Bad, glob_data wasn't updated. 

¿Hay alguna manera de tener los datos globales actualizados?

Tenga en cuenta que si prueba el script anterior, probablemente no debería intentarlo con el intérprete interactivo ya que multiprocessing requiere que el módulo __main__ sea importable por procesos secundarios.

ACTUALIZACIÓN

añadido la palabra clave global en func no ayuda - por ejemplo:

def func(a): #Still doesn't work. 
    global glob_data 
    glob_data.append(a) 

Answer 1

necesita esa lista (glob_data) para ser respaldado por la memoria compartida, Gerente de multiprocesamiento le da precisamente eso:

import multiprocessing as multi 
from multiprocessing import Manager 

manager = Manager() 

glob_data= manager.list([]) 

def func(a): 
    glob_data.append(a) 

map(func,range(10)) 
print glob_data #[0,1,2,3,4 ... , 9] Good. 

p=multi.Pool(processes=8) 
p.map(func,range(80)) 

print glob_data # Super Good. 

Para algunos antecedentes (buscar Manager):

http://docs.python.org/library/multiprocessing.html

Answer 2

Tener func devolver una tupla con los resultados que desea de la transformación y lo que desea para agregar a glob_data. Luego, cuando el p.map se haya completado, puedes extraer los resultados de los primeros elementos en las tuplas devueltas y puedes construir glob_data a partir de los segundos elementos.