¿Cómo puedo cargar archivos grandes (~ 150MB) en MATLAB?

Question

Tengo un gran archivo MATLAB (150 MB) en forma de matriz (es decir, 4070 x 4070). Necesito trabajar en este archivo en MATLAB pero parece que no puedo cargar este archivo. Recibo un error de "falta de memoria". ¿Hay alguna otra forma en que pueda cargar este tamaño de archivo? Estoy usando un procesador de 32 bits y tengo 2 GB de RAM. Por favor, ayúdenme, me estoy cansando de lidiar con este problema.

Answer 1

Si se trata de un archivo de imagen, y desea trabajar con él, intente con matlab block processing. Al usarlo, cargará pequeñas partes del archivo. Su función fun se aplicará a cada bloque individualmente.

B = blockproc(src_filename,[M N],fun) 

En caso de que sea un archivo xml, probar el modo XML DOM Node junto con SAX - (Gracias a @Nzbuu por señalarlo), pero que parece ser una funcionalidad no documentada.

Además, si se trata de un archivo de texto de cualquier tipo (Improbable, debido a la cantidad de datos), intente herramienta externa para dividir.

Answer 2

Starting desde el release R2011b (ver.7.13) hay un nuevo objeto matlab.io.MatFile con MATFILE como constructor. Permite cargar y guardar partes de variables en archivos MAT. Ver la documentación para más detalles. Aquí está un ejemplo sencillo de leer parte de una matriz:

matObj = matfile(filename); 
a = matObj.a(100:500, 200:600); 

Si el archivo original no es un archivo MAT, pero algunos archivo de texto, se puede leer parcialmente y utilizar matfile para salvar aquellas partes de la misma variable en un archivo MAT para un acceso posterior. Solo recuerda establecer la propiedad Writable en true en el constructor.

Asumiendo que su archivo de texto es delimitado por tabuladores y contiene sólo números, aquí es un script de ejemplo para leer los datos por bloques y guardarlos en el archivo MAT:

blocksize = 100; 
startrow = 0; 
filename = 'test.mat'; 
matObj = matfile(filename,'Writable',true); 
while true 
    try 
     a = dlmread(filename,'\t',startrow,0); %# depends on your file format 
     startrow = startrow + blocksize; 
     matObj.a(startrow+(1:blocksize),:) = a; 
    catch 
     break 
    end 
end 

no tengo la última versión ahora para probar, pero espero que funcione.

Answer 3

Puede también usuario de MATLAB de Memory-Mapping of Data Files para leer en un bloque del archivo, procesarla, y proceder al siguiente bloque sin tener que cargar el archivo en la memoria a la vez.

Por ejemplo, consulte this example, que "asigna un archivo de 100 números de punto flotante de precisión doble a la memoria".