Multiplicación eficiente de matrices muy grandes en MATLAB

Question

No tengo suficiente memoria para crear simplemente una matriz D-by-D diagonal, ya que D es grande. Sigo recibiendo un error de 'falta de memoria'.

En lugar de realizar operaciones M x D x D en la primera multiplicación, hago operaciones M x D, pero aún así mi código tarda años en ejecutarse.

¿Alguien puede encontrar una manera más efectiva de realizar la multiplicación A'*B*A? Esto es lo que he intentado hasta ahora:

D=20000 
M=25 

A = floor(rand(D,M)*10); 
B = floor(rand(1,D)*10); 

for i=1:D 
    for j=1:M 
     result(i,j) = A(i,j) * B(1,j); 
    end 
end  

manual = result * A'; 
auto = A*diag(B)*A'; 
isequal(manual,auto) 

Answer 1

Una opción que debería resolver su problema es usar sparse matrices. Aquí está un ejemplo:

D = 20000; 
M = 25; 
A = floor(rand(D,M).*10); %# A D-by-M matrix 
diagB = rand(1,D).*10;  %# Main diagonal of B 
B = sparse(1:D,1:D,diagB); %# A sparse D-by-D diagonal matrix 
result = (A.'*B)*A;   %'# An M-by-M result 

Otra opción sería la de replicar los elementos D a lo largo de la diagonal principal de B para crear una matriz de M-por-D utilizando la función REPMAT, a continuación, utilizar element-wise multiplication con A.':

B = repmat(diagB,M,1); %# Replicate diagB to create an M-by-D matrix 
result = (A.'.*B)*A; %'# An M-by-M result 

Y sin embargo, otra opción sería utilizar la función BSXFUN:

result = bsxfun(@times,A.',diagB)*A; %'# An M-by-M result 

Answer 2

Tal vez estoy teniendo un poco de un Brainfart aquí, pero no puedo dar vuelta a su matriz DxD en una matriz DxM (con M copias del vector que le dan) y luego. * las dos últimas matrices en lugar de multiplicarlas (y luego, por supuesto, normalmente multiplicar la primera con la cantidad de producto encontrado).

Answer 3

1. Te estás "agotando la memoria" porque MATLAB no puede encontrar un trozo de memoria lo suficientemente grande como para acomodar toda la matriz. Existen diferentes técnicas para evitar este error descrito in MATLAB documentation.

2. En MATLAB obviamente no necesita programar bucles explícitos en la mayoría de los casos porque puede usar el operador *. Existe una técnica para acelerar la multiplicación de matrices si se realiza con ciclos explícitos, aquí está an example in C#. Tiene una buena idea de cómo la matriz (potencialmente grande) se puede dividir en matrices más pequeñas. Para contener estas matrices más pequeñas en MATLAB, puede usar la matriz de celda. Es mucho más probable que el sistema encuentre suficiente RAM para acomodar dos submatrices más pequeñas luego la matriz grande resultante.