¿Cuál es el límite de tamaño de almacenamiento de MongoDB en plataformas de 64 bits? ¿Puede MongoDB almacenar 500-900 Gb de datos en una instancia (nodo)? ¿Cuál fue la mayor cantidad de datos que almacenó en MongoDB y cuál fue su experiencia?¿Tamaño de almacenamiento límite de MongoDB?
La página "production deployments" en el sitio de MongoDB puede ser de su interés. Muchas presentaciones enumeradas con información de infraestructura. Por ejemplo:
http://blog.wordnik.com/12-months-with-mongodb dice que están almacenando 3 TB por nodo.
No ejecutará en ningún lugar cerca de tocar el límite con 1TB en sistemas de 64 bits, sin embargo Mongo almacena los índices en la memoria para que la experiencia fluida dependa del tamaño de su índice y de la cantidad de memoria que tenga. Pero si tienes un sistema lo suficientemente robusto, no será un problema.
El límite de almacenamiento de MongoDB en diferentes sistemas operativos se tabula a continuación según los límites del motor de almacenamiento MongoDB 3.0 MMAPv1.
El motor de almacenamiento MMAPv1 limita cada base de datos a no más de 16000 archivos de datos. Esto significa que una sola base de datos MMAPv1 tiene un tamaño máximo de 32TB. Establecer la opción storage.mmapv1.smallFiles reduce este límite a 8TB.
Al utilizar el motor de almacenamiento MMAPv1, una única instancia de mongod no puede administrar un conjunto de datos que exceda el espacio máximo de direcciones de memoria virtual proporcionado por el sistema operativo subyacente.
Virtual Memory Limitations
Operating System Journaled Not Journaled
Linux 64 terabytes 128 terabytes
Windows Server 2012 R2
and Windows 8.1 64 terabytes 128 terabytes
Windows (otherwise) 4 terabytes 8 terabytes
Referencia: MongoDB Database Limit.
Nota: El motor de almacenamiento WiredTiger no está sujeto a esta limitación.
Otra forma de tener más de 2 GB en un solo nodo es ejecutar múltiples procesos de mongod. Entonces, sharding es una opción o hacer una partición manual en los procesos.
Espero que esto ayude.
Tengo curiosidad. ¿Qué significa exactamente "cada base de datos"? ¿Una sola instalación en un servidor se considera una base de datos o un clúster completo con múltiples fragmentos? (Probablemente NO lo último - ¿no es así ?, de lo contrario, el máximo absoluto de un mongo-clúster sería 32 TB y eso sería ridículo) – skofgar
Esto: http://stackoverflow.com/a/33944255/756976 me ayudó. – skofgar
En nuestro caso estamos reduciendo los números en años de datos históricos recuperados de ciertos mercados de eBay. En nuestra situación, 1 TB definitivamente es una preocupación nuestra. No se apresure a descartar números tan grandes. Pero para el uso diario estás en lo cierto: 1TB es bastante extremo. –
@Joshua Burns Creo que malinterpretaste la respuesta. Creo que @Donnie H quería decir que 1 TB de datos no se acerca a la capacidad máxima de MongoDB, no que 1 TB es un volumen de datos que nunca se alcanzará. – ceejayoz