Ahora para mi método preferido.
Ok, como mencioné en mi respuesta anterior, las filas con las mismas entradas en cada columna de la matriz A se multiplicarán con el mismo resultado en la matriz AB. Si podemos mantener esa relación, teóricamente podemos acelerar los cálculos de manera significativa (un profiler es tu amigo).
En este método, mantenemos la estructura de la columna row * de la matriz.
Cada fila se comprime con cualquier método que pueda descomprimirse lo suficientemente rápido como para no afectar demasiado la velocidad de multiplicación. RLE puede ser suficiente.
Ahora tenemos una lista de filas comprimidas.
Utilizamos un método de codificación de entropía (como Shannon-Fano, Huffman o codificación aritmética), pero no comprimimos los datos en las filas con esto, lo usamos para comprimir el conjunto de filas. Lo usamos para codificar la frecuencia relativa de las filas. Es decir. tratamos una fila de la misma manera que la codificación de entropía estándar trataría un carácter/byte.
En este ejemplo RLE comprime una fila, y Huffman comprime toda la conjunto de filas.
Así, por ejemplo, dada la siguiente matriz (con el prefijo números de fila, Huffman utiliza para facilitar la explicación) longitud
0 | 8 8 8 8 8 8 8 8 8 8 8 8 8 |
1 | 8 4 8 8 1 1 1 1 1 8 8 8 8 |
2 | 8 4 8 8 1 1 1 1 1 8 8 8 8 |
3 | 8 4 8 8 1 1 1 1 1 8 8 8 8 |
4 | 8 4 8 8 1 1 1 1 1 8 8 8 8 |
5 | 8 4 8 8 1 1 1 1 1 8 8 8 8 |
6 | 8 8 8 8 8 8 8 8 8 8 8 8 8 |
7 | 8 8 3 3 3 3 3 3 3 3 3 3 3 |
Run codificada
0 | 8{13} |
1 | 8{1} 4{1} 8{2} 1{5} 8{4} |
2 | 8{1} 4{1} 8{2} 1{5} 8{4} |
3 | 8{1} 4{1} 8{2} 1{5} 8{4} |
4 | 8{1} 4{1} 8{2} 1{5} 8{4} |
5 | 8{1} 4{1} 8{2} 1{5} 8{4} |
6 | 8{13} |
7 | 8{2} 3{11} |
Así, 0 y 6 aparecen dos veces y 1 - 5 aparecen 5 veces. 7 solo una vez
Tabla de frecuencia
A: 5 (1-5) | 8{1} 4{1} 8{2} 1{5} 8{4} |
B: 2 (0,6) | 8{13} |
C: 1 7 | 8{2} 3{11} |
Huffman árbol
0|1
/ \
A 0|1
/ \
B C
Así que en este caso se necesita un bit (para cada fila) para codificar las filas 1 - 5, y 2 bits para codificar filas 0, 6 y 7.
(Si las ejecuciones son más largas que unos pocos bytes, entonces freq cuenta un hash que compila como lo hace con el RLE).
Almacena el árbol de Huffman, cadenas exclusivas y el flujo de bits de codificación de fila.
Lo bueno de Huffman es que tiene una propiedad de prefijo único, por lo que siempre sabrá cuando haya terminado. Por lo tanto, dada la cadena de bits 10000001011, puede reconstruir la matriz A a partir de las cadenas únicas almacenadas y el árbol. La secuencia de bits codificada le indica el orden en que aparecen las filas.
Es posible que desee examinar la codificación adaptativa de Huffman o su contraparte aritmética.
Al ver que las filas en A con las mismas entradas de columna multiplican el mismo resultado en AB sobre el vector B puede almacenar el resultado y usarlo en vez de calcularlo nuevamente (siempre es bueno evitar multiplicaciones de 100M * 100M si puede)
enlaces a más información:
Arithmetic Coding + Statistical Modeling = Data Compression
Priority Queues and the STL
Arithmetic coding
Huffman coding
Una comparación
Sin comprimir
0 1 2 3 4 5 6 7
=================================
0 | 3 3 3 3 3 3 3 3 |
|-------+ +-------|
1 | 4 4 | 3 3 3 3 | 4 4 |
| +-----------+---+ |
2 | 4 4 | 5 5 5 | 1 | 4 4 |
| | | | |
3 | 4 4 | 5 5 5 | 1 | 4 4 |
|---+---| | | |
4 | 5 | 0 | 5 5 5 | 1 | 4 4 |
| | +---+-------+---+-------|
5 | 5 | 0 0 | 2 2 2 2 2 |
| | | |
6 | 5 | 0 0 | 2 2 2 2 2 |
| | +-------------------|
7 | 5 | 0 0 0 0 0 0 0 |
=================================
= 64 bytes
Quadtree
0 1 2 3 4 5 6 7
=================================
0 | 3 | 3 | | | 3 | 3 |
|---+---| 3 | 3 |---+---|
1 | 4 | 4 | | | 4 | 4 |
|-------+-------|-------+-------|
2 | | | 5 | 1 | |
| 4 | 5 |---+---| 4 |
3 | | | 5 | 1 | |
|---------------+---------------|
4 | 5 | 0 | 5 | 5 | 5 | 1 | 4 | 4 |
|---+---|---+---|---+---|---+---|
5 | 5 | 0 | 0 | 2 | 2 | 2 | 2 | 2 |
|-------+-------|-------+-------|
6 | 5 | 0 | 0 | 2 | 2 | 2 | 2 | 2 |
|---+---+---+---|---+---+---+---|
7 | 5 | 0 | 0 | 0 | 0 | 0 | 0 | 0 |
=================================
0 +- 0 +- 0 -> 3
| +- 1 -> 3
| +- 2 -> 4
| +- 3 -> 4
+- 1 -> 3
+- 2 -> 4
+- 3 -> 5
1 +- 0 -> 3
+- 1 +- 0 -> 3
| +- 1 -> 3
| +- 2 -> 4
| +- 3 -> 4
+- 2 +- 0 -> 5
| +- 1 -> 1
| +- 2 -> 5
| +- 3 -> 1
+- 3 -> 4
2 +- 0 +- 0 -> 5
| +- 1 -> 0
| +- 2 -> 5
| +- 3 -> 0
+- 1 +- 0 -> 5
| +- 1 -> 5
| +- 2 -> 0
| +- 3 -> 2
+- 2 +- 0 -> 5
| +- 1 -> 0
| +- 2 -> 5
| +- 3 -> 0
+- 3 +- 0 -> 0
+- 1 -> 2
+- 2 -> 0
+- 3 -> 0
3 +- 0 +- 0 -> 5
| +- 1 -> 1
| +- 2 -> 2
| +- 3 -> 2
+- 1 +- 0 -> 4
| +- 1 -> 4
| +- 2 -> 2
| +- 3 -> 2
+- 2 +- 0 -> 2
| +- 1 -> 2
| +- 2 -> 0
| +- 3 -> 0
+- 3 +- 0 -> 2
+- 1 -> 2
+- 2 -> 0
+- 3 -> 0
((1*4) + 3) + ((2*4) + 2) + (4 * 8) = 49 leaf nodes
49 * (2 + 1) = 147 (2 * 8 bit indexer, 1 byte data)
+ 14 inner nodes -> 2 * 14 bytes (2 * 8 bit indexers)
= 175 Bytes
Región Hash
0 1 2 3 4 5 6 7
=================================
0 | 3 3 3 3 3 3 3 3 |
|-------+---------------+-------|
1 | 4 4 | 3 3 3 3 | 4 4 |
| +-----------+---+ |
2 | 4 4 | 5 5 5 | 1 | 4 4 |
| | | | |
3 | 4 4 | 5 5 5 | 1 | 4 4 |
|---+---| | | |
4 | 5 | 0 | 5 5 5 | 1 | 4 4 |
| + - +---+-------+---+-------|
5 | 5 | 0 0 | 2 2 2 2 2 |
| | | |
6 | 5 | 0 0 | 2 2 2 2 2 |
| +-------+-------------------|
7 | 5 | 0 0 0 0 0 0 0 |
=================================
0: (4,1; 4,1), (5,1; 6,2), (7,1; 7,7) | 3
1: (2,5; 4,5) | 1
2: (5,3; 6,7) | 1
3: (0,0; 0,7), (1,2; 1,5) | 2
4: (1,0; 3,1), (1,6; 4,7) | 2
5: (2,2; 4,4), (4,0; 7,0) | 2
Regiones: (3 + 1 + 1 + 2 + 2 + 2) * 5 = 55 bytes {4 bytes rectángulo, 1 byte de datos)
{tabla de búsqueda es una matriz ordenada, por lo que no necesita adicional almacenamiento}.
Huffman codificado RLE
corriente
0 | 3 {8} | 1
1 | 4 {2} | 3 {4} | 4 {2} | 2
2,3 | 4 {2} | 5 {3} | 1 {1} | 4 {2} | 4
4 | 5 {1} | 0 {1} | 5 {3} | 1 {1} | 4 {2} | 5
5,6 | 5 {1} | 0 {2} | 2 {5} | 3
7 | 5 {1} | 0 {7} | 2
RLE Data: (1 + 3+ 4 + 5 + 3 + 2) * 2 = 36
Bit Stream: 20 bits packed into 3 bytes = 3
Huffman Tree: 10 nodes * 3 = 30
= 69 Bytes
Una Giant RLE
3{8};4{2};3{4};4{4};5{3};1{1};4{4};5{3};1{1};4{2};5{1};0{1};
5{3};1{1};4{2};5{1};0{2};2{5};5{1};0{2};2{5};5{1};0{7}
= 2 * 23 = 46 Bytes
Una Giant RLE flujo codificado con prefijo común plegable
3{8};
4{2};3{4};
4{4};5{3};1{1};
4{4};5{3};
1{1};4{2};5{1};0{1};5{3};
1{1};4{2};5{1};0{2};2{5};
5{1};0{2};2{5};
5{1};0{7}
0 + 0 -> 3{8};4{2};3{4};
+ 1 -> 4{4};5{3};1{1};
1 + 0 -> 4{2};5{1} + 0 -> 0{1};5{3};1{1};
| + 1 -> 0{2}
|
+ 1 -> 2{5};5{1} + 0 -> 0{2};
+ 1 -> 0{7}
3{8};4{2};3{4} | 00
4{4};5{3};1{1} | 01
4{4};5{3};1{1} | 01
4{2};5{1};0{1};5{3};1{1} | 100
4{2};5{1};0{2} | 101
2{5};5{1};0{2} | 110
2{5};5{1};0{7} | 111
Bit stream: 000101100101110111
RLE Data: 16 * 2 = 32
Tree: : 5 * 2 = 10
Bit stream: 18 bits in 3 bytes = 3
= 45 bytes
¿Para qué sirve esta aplicación? Nunca he visto matrices con este tipo de estructura utilizada antes con multiplicación de matrices. –
La matriz es una matriz de pago para un juego de suma cero para 2 jugadores muy grande. La multiplicación es contra un vector que representa la estrategia mixta de un jugador (cada elemento es la probabilidad de que se use esta estrategia). –
Su ejemplo anterior no dejó en claro que la matriz es escasa, pero noté en un comentario que hizo que está (99% vacío). Los algoritmos y las estructuras que mencioné lo almacenarán de manera eficiente. También es posible que desee utilizar el hecho de que una fila en la matriz A que comprende el mismo valor (x) simplifica el cálculo de AB a Sum (B) * x. Puede usar esto para reducir significativamente la cantidad de cálculos que necesita realizar (puede almacenar Sum (B)). –