Multiproceso de Python: ¿Cuál es la diferencia entre map e imap?

Question

Estoy tratando de aprender a usar el paquete de multiprocesamiento de Python, pero no entiendo la diferencia entre map y imap.

¿La diferencia es que map devuelve, por ejemplo, una matriz o conjunto real, mientras que imap devuelve un iterador sobre una matriz o conjunto? ¿Cuándo usaría uno sobre el otro?

Además, no entiendo qué es el argumento de chunksize. ¿Es este el número de valores que se pasan a cada proceso?

Answer 1

Esa es la diferencia. Una razón por la que puede usar imap en lugar de mapa es si desea comenzar a procesar los primeros resultados sin esperar a que se calcule el resto. el mapa espera por cada resultado antes de regresar.

En cuanto a Chunksize, a veces es más eficiente repartir el trabajo en grandes cantidades porque cada vez que el trabajador solicita más trabajo, hay un IPC y una sobrecarga de sincronización.

Answer 2

IMAP es de módulo itertools que se utiliza para una rápida y memoria eficiencia en python.Map se devolver la lista donde como IMAP devuelve el objeto que genera los valores de cada iteraciones (en Python 2.7) .La debajo los bloques de código borrarán la diferencia.

Mapa devuelve la lista se puede imprimir directamente

from itertools import * 
    from math import * 

    integers = [1,2,3,4,5] 
    sqr_ints = map(sqrt, integers) 
    print (sqr_ints) 

rendimientos IMAP objeto que se convierte a la lista y se imprime.

from itertools import * 
from math import * 

integers = [1,2,3,4,5] 
sqr_ints = imap(sqrt, integers) 
print list(sqr_ints) 

chunkSize hará la iterable se divida en trozos de tamaño especificado (aproximados) y cada pieza se somete como una tarea independiente.