cdb - almacén de valor-clave constante para archivos grandes (cientos de GB)

Question

Necesito una herramienta similar a cdb (base de datos constante) que me permita almacenar grandes conjuntos de datos (en el rango de cientos de gigabytes) en indexados archivos. CDB es un candidato ideal, pero tiene un límite de tamaño de archivo de 2 GB, por lo que no es adecuado. La funcionalidad que estoy buscando es un almacén de clave-valor persistente que admita claves y valores binarios. Después de crear la base de datos es de solo lectura y nunca será modificado. ¿Puedes recomendar alguna herramienta? Y, por cierto, la sobrecarga de almacenamiento debería ser pequeña porque estaré almacenando mil millones de registros.

BTW Estoy buscando una biblioteca de administración db (incrustable), no un servidor independiente. Algo que puede usarse dentro de un programa C.

Gracias, RG

Answer 1

Otra opción es MCDB, que se extendía desde el BDC de Dan J. Bernstein.

https://github.com/gstrauss/mcdb/

MCDB soporta grandes bases de datos constantes y es más rápido que el BDC, tanto para la creación y acceso de base de datos. Aún así, crear una base de datos de cientos de gigabytes puede tomar un poco de tiempo. mcdb puede crear una base de datos del tamaño de un gigabyte en unos pocos segundos para datos almacenados en caché o en un minuto más o menos cuando se inicia desde la memoria caché en frío.

https://github.com/gstrauss/mcdb/blob/master/t/PERFORMANCE

(Revelación: yo soy el autor de MCDB)

Answer 2

Hay Hamsterdb (yo soy el autor), BerkeleyDB, el gabinete de Tokio.

hamsterdb usa un btree y, por lo tanto, ordena sus datos. El gabinete de Tokio es una tabla hash y, por lo tanto, no está ordenada. berkeleydb puede hacer ambas cosas.

Ni que decir lo que yo recomendaría;)

Todos ellos pueden ser vinculados en una aplicación C. Ninguno de ellos debe tener un límite de 2 GB.

bye Christoph

Answer 3

Si su valor es grande y las teclas son pequeñas se puede considerar Redis, así http://redis.io