Necesito almacenar alrededor de 100 millones de registros en la base de datos. Alrededor del 60-70% de ellos se eliminarán diariamente y se inserta la misma cantidad de registros a diario. Siento que una base de datos de documentos como Hbase, Big Table encajaría en esto. Hay muchas otras tiendas de datos como Cassandra, MongoDb, etc. ¿Qué tienda de datos sería útil para este tipo de problema, ya que habrá una gran cantidad de lecturas/escrituras (orden de 10 de millones) al día.Mejor almacén de datos para grandes cantidades de datos con gran cantidad de lecturas y escrituras
Q
Mejor almacén de datos para grandes cantidades de datos con gran cantidad de lecturas y escrituras
5
A
Respuesta
3
Sobre la base de las características que usted ha mencionado (documentos JSON, accesos por clave, 100 millones de discos, equilibrada lectura/escritura), diría que CouchDB o Membase son buenos candidatos (aquí hay una quick comparison)
Tanto HBase y Cassandra probablemente también puede funcionar, pero para HBase necesitaría instalar muchos componentes (Hadoop, ZooKeeper, etc.) que no usaría realmente, solo usaría y Cassandra es mejor cuando tiene más escrituras que lecturas (al menos las la última vez que lo usé).
Big Table, desafortunadamente es interno de google:)
Cuestiones relacionadas
- 1. Práctica recomendada para almacenar grandes cantidades de datos con J2ME
- 2. Diseño de base de datos para gran cantidad de datos
- 3. ¿La mejor práctica para el servicio WCF con grandes cantidades de datos?
- 4. optimización de mysql para una gran cantidad de datos
- 5. ¿Estructura de datos para almacenar una gran cantidad de datos?
- 6. Exportar grandes cantidades de datos al cliente en asp.net
- 7. Mejor (NoSQL?) DB para pequeños documentos/registros, datos invariables, muchas escrituras, lecturas rápidas?
- 8. Procesando grandes cantidades de datos usando multiprocesamiento
- 9. Almacenar grandes cantidades de datos: ¿DB o sistema de archivos?
- 10. patrón de 3 niveles y grandes cantidades de datos
- 11. Archivar grandes cantidades de datos antiguos en SQL Server
- 12. ¿Base de datos para cantidades ENORMES de datos?
- 13. Restful API - manejo de grandes cantidades de datos
- 14. ¿Cuál es la mejor manera de sincronizar grandes cantidades de datos en todo el mundo?
- 15. OutOfMemory al leer grandes cantidades de datos usando Hibernate
- 16. ¿Cuál es la mejor manera de dibujar un gráfico con grandes cantidades de datos?
- 17. ¿Cuál es la alternativa a los cursores para recuperar grandes cantidades de datos de una base de datos?
- 18. ASP.NET MVC: devolver grandes cantidades de datos de FileResult
- 19. Cargando y analizando cantidades masivas de datos
- 20. Cargando una gran cantidad de datos en Postgres Hstore
- 21. GWT La mejor práctica para enviar gran cantidad de datos del servidor al cliente
- 22. ¿Qué es mejor usar: un DataGrid o ListView para mostrar grandes cantidades de datos?
- 23. Técnicas para manejar lecturas cortas/escrituras con scatter-gather?
- 24. ¿Cuál es la mejor manera de devolver grandes cantidades de datos binarios de un servicio web?
- 25. La mejor manera de llenar DataGridView con gran cantidad de datos
- 26. Rellenar las tablas de la base de datos con una gran cantidad de datos de prueba
- 27. La mejor práctica para grabar gran cantidad de éxitos en la base de datos MySQL
- 28. aplicación de base de multiproceso Delphi no con grandes cantidades de datos
- 29. Creación de base de datos de aplicaciones androide con gran cantidad de datos
- 30. Manejo de gran cantidad de datos en MyBatis
Quizás quiso una comparación de eficiencia. Puede ver cada uno de estos rendimientos de tiendas de datos en sus sitios web. Utilizamos Cassandra para situaciones similares, pero no he jugado con otras áreas de almacenamiento – Nishant
la naturaleza de sus datos probablemente también afecta esta comparación de base de datos – Prescott
muchos almacenes de datos pueden manejar 100 millones de registros y estas tasas de lectura/eliminación. ¿Cuál es el tamaño de los registros? ¿Cuáles son tus patrones de acceso a datos, etc. ratios de escritura vs. lectura, etc.? –