Recomiende un mapa persistente rápido y escalable - Java

Question

Necesito una estructura de mapa con respaldo de disco para usar en una aplicación Java. Se debe contar con los siguientes criterios:

1. Capaz de almacenar millones de registros (incluso mil millones)
2. de búsqueda rápida - la mayoría de las operaciones en el Mapa simplemente para ver si ya existe una clave. Esto y 1 arriba son los criterios más importantes. Debería haber un efectivo en el mecanismo de caché de la memoria para las claves usadas frecuentemente.
3. Persistente, pero no necesita ser transaccional, puede vivir con alguna falla. es decir, feliz de sincronizar con el disco periódicamente, y no necesita ser transaccional.
4. Capaz de almacenar tipos primitivos simples, pero no necesito almacenar objetos serializados.
5. No necesita ser distribuido, es decir, se ejecutará todo en una sola máquina.
6. Fácil de configurar & de forma gratuita.
7. No hay consultas relacionales necesitan claves

registros serán cadenas o largos. Como se describió anteriormente, las lecturas serán mucho más frecuentes que las escrituras, y la mayoría de las lecturas serán simplemente para verificar si existe una clave (es decir, no será necesario leer las claves asociadas a los datos). Cada registro se actualizará una sola vez y los registros no se eliminarán.

Actualmente uso Bdb JE pero estoy buscando otras opciones.

---

actualización

desde entonces han mejorado el rendimiento de consulta en mi configuración BDB existente mediante la reducción de la dependencia de las claves secundarias. Algunas consultas requerían una unión en dos claves secundarias y, al combinarlas en una clave compuesta, eliminé un nivel de indirección en la búsqueda que acelera las cosas.

Answer 1

Probablemente usaría una base de datos local. Como decir Bdb JE o HSQLDB. ¿Puedo preguntar qué está mal con este enfoque? Debe tener alguna razón para buscar alternativas.

En respuesta a los comentarios: Como problema de rendimiento y supongo que ya está utilizando JDBC para manejar esto, podría valer la pena intentar con HSQLB y leer el capítulo en Memory and Disk Use.

Answer 2

Creo que Hibernate Shards puede cumplir fácilmente todos sus requisitos.

Answer 3

SQLite hace esto. Escribí un contenedor para usarlo de Java: http://zentus.com/sqlitejdbc

Como mencioné en un comentario, he utilizado satisfactoriamente SQLite con gigabytes de datos y tablas de cientos de millones de filas. Si piensas en la indexación correctamente, es muy rápido.

El único problema es la interfaz JDBC. Comparado con un HashMap simple, es torpe. A menudo termino escribiendo un envoltorio JDBC para el proyecto específico, que puede agregar mucho código repetitivo.

Answer 4

JBoss (tree) Cache es una gran opción. Puedes usarlo de forma independiente desde JBoss. Muy robusto, de rendimiento y flexible.

Answer 5

Es posible que desee consultar OrientDB.

Answer 6

He encontrado que Tokyo Cabinet es un Hash/Map persistente simple, y rápido de configurar y usar.

Este ejemplo abreviado, tomada de the docs, muestra lo fácil que es para guardar y recuperar datos de un mapa persistente:

// create the object 
    HDB hdb = new HDB(); 
    // open the database 
    hdb.open("casket.tch", HDB.OWRITER | HDB.OCREAT); 
    // add item 
    hdb.put("foo", "hop"); 
    hdb.close(); 

Answer 7

JDBM3 hace exactamente lo que busca. Es una biblioteca de mapas respaldados por disco con API realmente simple y alto rendimiento.

ACTUALIZACIÓN

Este proyecto ha evolucionado hasta convertirse en MapDB http://www.mapdb.org

Answer 8

Usted puede tratar de Crónicas Java desde http://openhft.net/products/chronicle-map/ Crónica mapa es un alto rendimiento, fuera del montón, clave-valor, en la memoria, persistieron Almacén de datos. Funciona como un mapa java estándar

Answer 9

A partir de hoy, utilizaría MapDB (sincronización basada en archivos o sincronizada o asincrónica) o Hazelcast. Posteriormente, tendrá que implementar su propia persistencia, es decir, respaldado por un RDBMS mediante la implementación de una interfaz Java. OpenHFT crónica podría ser otra opción. No estoy seguro de cómo funciona la persistencia allí ya que nunca lo usé, pero el reclamo de tener uno. OpenHFT está completamente fuera de pila y permite actualizaciones parciales de objetos (de primitivos) sin (des) serialización, lo que podría ser un beneficio de rendimiento.

NOTA: Si necesita que su disco de mapa esté basado debido a problemas de memoria, la opción más fácil es MapDB. Hazelcast se puede usar como un caché (distribuido o no) que le permite expulsar elementos del montón después del tiempo o el tamaño. OpenHFT está fuera de pila y podría considerarse si solo necesita persistencia para reiniciar JVM.