suma la realización de los productos exteriores de matrices dispersas

Question

Estoy tratando de poner en práctica la siguiente ecuación usando el paquete de escasa scipy:

W = x[:,1] * y[:,1].T + x[:,2] * y[:,2].T + ... 

donde x & y son una csc_matrix nxm. Básicamente estoy tratando de multiplicar cada col de x por cada col de y y sumar las matrices nxn resultantes. entonces yo quiero que todos los elementos no nulos 1.

Ésta es mi implementación actual:

c = sparse.csc_matrix((n, n)) 
    for i in xrange(0,m): 
     tmp = bam.id2sym_thal[:,i] * bam.id2sym_cort[:,i].T 
     minimum(tmp.data,ones_like(tmp.data),tmp.data) 
     maximum(tmp.data,ones_like(tmp.data),tmp.data) 

     c = c + tmp 

Esta aplicación tiene los siguientes problemas:

1. uso de memoria parece explotar. Según tengo entendido, la memoria solo debería aumentar a medida que c se vuelve menos dispersa, pero estoy viendo que el ciclo comienza a consumir> 20GB de memoria con un = 10,000, m = 100,000 (cada fila de x & y solo tiene alrededor de 60 cero elementos).

2. Estoy usando un bucle de python que no es muy eficiente.

Mi pregunta: ¿Hay una mejor manera de hacerlo? Controlar el uso de la memoria es mi principal preocupación, ¡pero sería genial hacerlo más rápido!

¡Gracias!

Answer 1

Tenga en cuenta que una suma de productos exteriores de la manera que usted describe es simplemente lo mismo que multiplicar dos matrices . En otras palabras,

sum_i X[:,i]*Y[:,i].T == X*Y.T 

Así que simplemente multiplique las matrices juntas.

Z = X*Y.T 

Para n = 10.000 y M = 100,000 y donde cada columna tiene un elemento distinto de cero en ambos X e Y, se calcula casi instantáneamente en mi portátil.

Answer 2

En términos de memoria y rendimiento, este podría ser un candidato ideal para usar Cython.

Hay una sección de la siguiente artículo que describe su uso con matrices de SciPy escasas:

http://folk.uio.no/dagss/cython_cise.pdf