Fragmentación automática de un mapa de Java en varios nodos

Question

Tengo un problema donde necesito ensamblar un mapa cuyo tamaño final está en los GB (pasando más de 64 GB) y no puedo suponer que un usuario del programa tendrá este tipo de máquina de monstruos dando vueltas. Una buena solución sería distribuir este mapa a través de varias máquinas para crear una huella de memoria mucho más modesta por instancia.

¿Alguien sabe de una biblioteca/conjunto de herramientas que pueden realizar esta fragmentación? No me importa la replicación o las transacciones; simplemente expandiendo este requisito de memoria.

Answer 1

sugiero que comience con Hazelcast:

http://www.hazelcast.com/

Es de código abierto, y en mi opinión, es muy fácil para trabajar, por lo que es el mejor marco para la creación rápida de prototipos .

Por lo que yo sé, tiene un rendimiento más rápido que las alternativas comerciales, por lo que tampoco me preocuparía el rendimiento.
(no he referenciado formalmente que yo)

Answer 2

terracota podría ser útil echar un vistazo aquí

http://www.terracotta.org/

es una JVM agrupado dependerá de cómo actualizar a menudo el mapa que supongo que en lo bien que funciona.

Answer 3

¿Debe ser de código abierto? Si no, Oracle Coherence puede hacerlo.

Answer 4

Es posible que pueda resolver su problema mediante el uso de una base de datos en su lugar, algo así como http://hsqldb.org/ puede proporcionar la funcionalidad que necesita con la capacidad de escribir los datos en el disco en lugar de mantener todo en la memoria.

Definitivamente daré un paso atrás y me preguntaría si un mapa es la estructura de datos correcta para GBs de datos.

Answer 5

Gigaspaces Datagrid suena como el tipo de cosa que está buscando. (No gratis)