Python/Numpy MemoryError

Question

Básicamente, estoy recibiendo un error de memoria en python cuando intento realizar una operación algebraica en una matriz numpy. La variable u, es una matriz grande de doble (en el caso que falla es una matriz de dobles de 288x288x156. Solo recibo este error en este gran caso, pero puedo hacerlo en otras matrices grandes, pero no tan grande). Aquí está el error de Python:

Traceback (most recent call last): 

File "S:\3D_Simulation_Data\Patient SPM Segmentation\20 pc 
t perim erosion flattop\SwSim.py", line 121, in __init__ 
    self.mainSimLoop() 

File "S:\3D_Simulation_Data\Patient SPM Segmentation\20 pc 
t perim erosion flattop\SwSim.py", line 309, in mainSimLoop 
    u = solver.solve_cg(u,b,tensors,param,fdHold,resid) # Solve the left hand si 
de of the equation Au=b with conjugate gradient method to approximate u 

File "S:\3D_Simulation_Data\Patient SPM Segmentation\20 pc 
t perim erosion flattop\conjugate_getb.py", line 47, in solv 
e_cg 

u = u + alpha*p 

MemoryError 

u = u + alpha*p es la línea de código que falla.

alpha es solo un doble, mientras que u y r son las matrices grandes descritas anteriormente (ambas del mismo tamaño).

No sé mucho acerca de los errores de memoria, especialmente en Python. ¡Cualquier idea/sugerencia para resolver esto sería muy apreciada!

Gracias

Answer 1

reescritura de

p *= alpha 
u += p 

y para ello se utiliza mucha menos memoria. Mientras que p = p*alpha asigna una matriz completamente nueva para el resultado de p*alpha y luego descarta la anterior p; p*= alpha hace lo mismo en su lugar.

En general, con matrices grandes, intente utilizar la asignación op=.

Answer 2

Su matriz tiene 288x288x156 = 12.939.264 entradas, que para double podría salir a 400 MB en la memoria. numpy lanzando un MemoryError solo significa que en la función que llamó la memoria necesaria para realizar la operación no estaba disponible desde el sistema operativo.

Si puede trabajar con matrices dispersas, esto podría ahorrarle mucha memoria.

Answer 3

Otro consejo que he encontrado para evitar errores de memoria es controlar manualmente garbage collection. Cuando se eliminan los objetos o van a nuestro ámbito, la memoria utilizada para estas variables no se libera hasta que se realiza una recolección de elementos no utilizados. He encontrado con algunos de mis códigos que usan matrices numpy grandes que obtengo un MemoryError, pero que puedo evitar esto si inserto llamadas a gc.collect() en lugares apropiados.

Solo debe considerar esta opción si el uso de operadores de estilo "op =", etc. no resuelve su problema, ya que probablemente no sea la mejor práctica de codificación tener llamadas gc.collect() en todas partes.