Hay muchas cosas que puede hacer, ya que las diversas respuestas señalan. La respuesta correcta depende de tu problema real. La creación de fuerza bruta de una matriz tan grande es imposible sin una versión de 64 bits de Matlab más suficiente memoria para almacenar esa gran matriz, o almacenar la matriz de alguna otra manera. Puede almacenar la matriz fuera de línea, solo trayendo lo que necesita a medida que lo usa.
Por ejemplo, si estos números siempre serán enteros pequeños, utilice uint8 o int8, o una matriz lógica, incluso una única matriz, lo que reducirá los requisitos de memoria en comparación con las matrices dobles. O use un formulario de almacenamiento disperso según corresponda. Mucho depende de lo que hagas con la matriz.
En cuanto a una cantidad variable de elementos en una fila, utilice una matriz de celdas aquí, no una matriz plana tradicional.