Agregando durabilidad a estructuras de datos en memoria

Question

Cuáles son algunas de las técnicas populares que puede adoptar para agregar durabilidad a sus estructuras de datos en memoria (es decir) si el proceso falla, puede conservar todas las operaciones previamente ejecutadas en esos datos ¿estructura?

Si mi estructura de datos implica solo una lista de tuplas, entonces solo las almacenaría en una base de datos SQL y eso me daría durabilidad de forma gratuita. Pero, ¿y si mi estructura de datos fuera un gráfico o un árbol?

Lo único que se me ocurre es registrar explícitamente todas las operaciones en el disco (solo anexar registro) y, en caso de falla, reproducir el registro para conservar el estado anterior. Si el registro se vuelve demasiado grande, habrá un paso de compactación. Supongo que esto es lo que hace internamente un motor de base de datos para la durabilidad (¿cómo se llama este proceso)?

Nota: este no es un escenario donde todo el conjunto de datos no cabe en la memoria.

Answer 1

La palabra que está buscando es "serialización".

Answer 2

Puede encontrar alguna manera de serializar su estructura, ya sea con XML, YAML, JSON, etc. Luego, puede almacenar eso en la base de datos, o quizás poner un gran try/catch alrededor del punto de ejecución principal para el programa. Entonces, si ocurre alguna excepción no detectada, que causará la falla del programa, podría serializar sus datos, así como registrar cualquier mensaje de error, seguimientos de pila, etc.

Answer 3

Sí, desea serializar los datos a algún formato - xml, binario, lo que sea. Dependiendo del lenguaje de programación, esto puede ser incorporado para usted. Java tiene ObjectStreams, .NET tiene XmlSerializer y también BinaryFormatter.

Answer 4

Cualquier respuesta a su pregunta implicará hacer algo así como lo que hace un sistema de base de datos ACID. Así que diría que lo mejor es usar un RDBMS para almacenar el estado de su aplicación, actualizando cada vez que tenga una transacción (de solicitud) que no debe perderse.

Answer 5

Es posible que desee probar un object prevalence engine. Para .NET, es posible que desee probar Bamboo.Prevalence, que es un puerto de un motor similar llamado Prevayler para Java.

Answer 6

Implementé la tecnología "Mrjb" en productos de 2 compañías, que es básicamente lo que sugirió en su pregunta: una base de datos "Memory Resident Journal Backed", una estructura de datos en memoria donde cada el cambio se registra en el disco a medida que sucede. ¡Y funciona genial para nosotros!

http://www.edval.biz/memory-resident-programming-object-databases

que estaría feliz de compartir nuestras experiencias del mundo real con el uso de esto en un contexto de producción. Me encanta poder reproducir una secuencia exacta de eventos o retroceder a cualquier punto en el tiempo.