Paralelización una operación vectorial Numpy

Question

uso

Vamos, por ejemplo, numpy.sin()

El siguiente código devolverá el valor del seno para cada valor de la matriz a:

import numpy 
a = numpy.arange(1000000) 
result = numpy.sin(a) 

Pero mi máquina tiene 32 núcleos , entonces me gustaría hacer uso de ellos. (La sobrecarga puede no ser válida para algo como numpy.sin() pero la función que realmente quiero usar es bastante más complicada, y trabajaré con una gran cantidad de datos.)

¿Es esto lo mejor? (Léase: más inteligente o más rápido) método:

from multiprocessing import Pool 
if __name__ == '__main__': 
    pool = Pool() 
    result = pool.map(numpy.sin, a) 

o hay una mejor manera de hacerlo?

Answer 1

Hay es una mejor manera: numexpr

modificado ligeramente desde su página principal:

Es un multi-hilo VM escrito en C que analiza las expresiones, los reescriba manera más eficiente, y los compila en vuela al código que se acerca al rendimiento paralelo óptimo para las operaciones limitadas de la memoria y la CPU.

Por ejemplo, en mi máquina de 4 núcleos, la evaluación de un seno es apenas un poco menos de 4 veces más rápido que el numpy.

In [1]: import numpy as np 
In [2]: import numexpr as ne 
In [3]: a = np.arange(1000000) 
In [4]: timeit ne.evaluate('sin(a)') 
100 loops, best of 3: 15.6 ms per loop  
In [5]: timeit np.sin(a) 
10 loops, best of 3: 54 ms per loop 

Documentación, incluidas las funciones compatibles here. Deberá verificar o darnos más información para ver si su función más complicada puede ser evaluada por numexpr.

Answer 2

SciPy en realidad tiene una muy buena valoración crítica sobre este tema aquí: http://wiki.scipy.org/ParallelProgramming

Answer 3

Bueno, esto es una especie de interesante nota si ejecuta los siguientes comandos:

import numpy 
from multiprocessing import Pool 
a = numpy.arange(1000000)  
pool = Pool(processes = 5) 
result = pool.map(numpy.sin, a) 

UnpicklingError: NEWOBJ class argument has NULL tp_new 

no esperaba que, por lo cuál pasando, así:

>>> help(numpy.sin) 
    Help on ufunc object: 

sin = class ufunc(__builtin__.object) 
| Functions that operate element by element on whole arrays. 
| 
| To see the documentation for a specific ufunc, use np.info(). For 
| example, np.info(np.sin). Because ufuncs are written in C 
| (for speed) and linked into Python with NumPy's ufunc facility, 
| Python's help() function finds this page whenever help() is called 
| on a ufunc. 

numpy.sin sí está implementado en C, como tal, realmente no se puede utilizar directamente con multiprocesamiento.

así que tenemos que envolverlo con otra función

Potencia:

import time 
import numpy 
from multiprocessing import Pool 

def numpy_sin(value): 
    return numpy.sin(value) 

a = numpy.arange(1000000) 
pool = Pool(processes = 5) 

start = time.time() 
result = numpy.sin(a) 
end = time.time() 
print 'Singled threaded %f' % (end - start) 
start = time.time() 
result = pool.map(numpy_sin, a) 
pool.close() 
pool.join() 
end = time.time() 
print 'Multithreaded %f' % (end - start) 


$ python perf.py 
Singled threaded 0.032201 
Multithreaded 10.550432 

wow, no esperaba que, o bien, así theres un par de temas para empezar estamos utilizando una función de Python incluso si solo se trata de un wrapper frente a una función c pura, y también existe la sobrecarga de copiar los valores, el multiprocesamiento de forma predeterminada no comparte datos, por lo tanto, cada valor debe copiarse hacia adelante o hacia atrás.

tenga en cuenta que si bien el segmento nuestros datos:

import time 
import numpy 
from multiprocessing import Pool 

def numpy_sin(value): 
    return numpy.sin(value) 

a = [numpy.arange(100000) for _ in xrange(10)] 
pool = Pool(processes = 5) 

start = time.time() 
result = numpy.sin(a) 
end = time.time() 
print 'Singled threaded %f' % (end - start) 
start = time.time() 
result = pool.map(numpy_sin, a) 
pool.close() 
pool.join() 
end = time.time() 
print 'Multithreaded %f' % (end - start) 

$ python perf.py 
Singled threaded 0.150192 
Multithreaded 0.055083 

Entonces, ¿qué podemos obtener de esto, el multiprocesamiento está muy bien, pero que siempre debe comprobar y comparar que a veces es más rápido ya veces su lento, dependiendo de cómo su usado ...

Concedido que usted no está usando numpy.sin pero otra función que le recomendaría primero verifique que de hecho multiprocesamiento acelerará el cálculo, tal vez la sobrecarga de copiar valores hacia atrás/adelante puede afectarlo.

De cualquier manera Yo también creo que el uso de pool.map es el mejor método, más segura de código multihilo ...

espero que esto ayude.