transacciones a través de muy gran grupo de entidades

Question

Estoy tratando de diseñar un modelo de datos que puede almacenar una gran cantidad de datos, ¿alguien con experiencia en grandes volúmenes de datos tiene algún comentario sobre esto, es decir:

// example only, not meant to compile 
public class TransactionAccount { 
    private long balance; 
    private List<Transaction> transactions = new ArrayList<Transaction>(); 
    .... 
    public long getBalance() { return balance; } 
} 
private class Transaction { 
    public Date date; 
    public long amount; 
} 

Según lo que he leído, la única forma de obtener integridad transaccional al insertar Transaction y actualizar balance es convertirlo en un grupo de entidades.

Sin embargo, con el tiempo habría millones de transacciones para un determinado TransactionAccount. El número de escrituras en este grupo de entidades sería bajo, pero las lecturas serían mucho más altas.

Sé que podría estar fragmentado, sin embargo, leer el balance es una operación muy frecuente, y la fragmentación haría una de las operaciones más comunes getBalance() la operación más lenta.

Answer 1

La disposición que describe debe funcionar bien. Si su grupo de entidades crece excesivamente grande (estamos hablando de cientos de megabytes de transacciones antes de que esto se convierta en un problema), podría escribir un procedimiento para 'enrollar' transacciones antiguas: reemplazar de forma transaccional un conjunto de registros de transacciones antiguos por uno único para la suma de esas transacciones, para mantener la invariante de que el saldo es igual a la suma de todas las transacciones. Si aún necesita almacenar un registro de estas antiguas transacciones 'acumuladas', puede hacer una copia de ellas en un grupo de entidades separado antes de realizar el roll-up.

Answer 2

Tiene razón en que Transaction y TransactionAccount deben estar en el mismo grupo de entidades para realizar la operación de inserción y actualización transaccional.

La razón para Shard es reducir la contención de escritura, pero usted dice que será una entidad de baja escritura, por lo que no es necesario fragmentar.

Para mantener el tamaño de sus grupos de entidades, puede instalar algún tipo de proceso de archivo. Por ejemplo, si esto es para una cuenta bancaria, cuando se genera el resumen mensual, puede archivar las transacciones de ese mes.