5
El tamaño del gráfico es de miles de millones de nodos y decenas de miles de millones de vértices.Cómo almacenar un gran gráfico no ponderado dirigido con miles de millones de nodos y vértices
Almacenará urls de páginas web y enlaces entre páginas web y se usará para probar algoritmos de clasificación.
Cualquier idioma está bien pero se prefiere Java.
Soluciones i encontrado hasta ahora:
- neo4j
- almacenan en archivos planos ordenados
Sí, ya he leído Best Way to Store/Access a Directed Graph.
actualización
Los datos pueden ser distribuidos en varios equipos y no tiene que estar completamente en memoria.
Su pregunta es un tanto vaga, es lo que realmente necesita el acceso a todo el conjunto de datos? ¿O solo estás visualizando los nodos de conexión? Lo que suelo hacer, y lo que muchos en mi campo hacen es simplemente tomar una amplia muestra calculada de los datos y luego mostrarlos. Esto puede no ser lo suficientemente preciso según su necesidad – slimbo
¿Necesita mantener sus datos en la memoria? Si es así, simplemente olvídelo ... Aclare su pregunta o considere el uso de almacenamiento no en memoria (base de datos indexada). – NewbiZ
@Steve: el algoritmo de clasificación necesita escanear todos los enlaces para generar un valor por enlace. Entonces, usar un subconjunto/muestra no funciona. – elhoim