Así que hay algo nuevo y genial, estas bases de datos NoSQL. Y así están mis datos: filas de filas de filas de datos meteorológicos: valores, que representan ciertas mediciones en una determinada estación (identificadas por un número de OMM, no coordenadas), en un momento determinado.NoSQL y datos meteorológicos
no todas las estaciones medidas de todos los parámetros, no todos los parámetros se mide todo el tiempo.
Guardo esta información (valores válidos por hora de 30 años, que dan como resultado ~ mil millones de valores) actualmente en MySQL. El crecimiento continuo y la adición previsible de aún más datos me dan un poco de dolor de cabeza.
Leyendo acerca de los sistemas NoSQL basados en documentos que parecen escalar con bastante facilidad, me preguntaba si NoSQL es también un concepto de almacenamiento de datos viable para datos meteorológicos. ¿Tienes alguna experiencia con esto?
Actualización: se olvidó de las consultas típicas: la mayoría de las consultas necesitan datos en el eje temporal: es decir, dame las temperaturas de la estación 066310 del 01.01.2010 00:00 al 01.03.2010 00:00.
O: dame los valores más recientes de todos los parámetros de una estación en particular.
Lo que realmente necesitamos saber si debemos ser capaces de responder la pregunta es ¿cómo está utilizando sus datos. ¿Qué tipo de consultas lo ejecutas? – adamse
Ah, lo olvidé. Gracias, he agregado dos muestras. –
¿Qué es exactamente lo que le está dando dolor de cabeza? Manejo de la base de datos? ¿Actuación? ¿Agregando los datos? ¿Algo más? Si su rendimiento está relacionado, ¿ha analizado el plan de consultas para sus consultas? Tal vez necesite mejores índices o ajuste la configuración de su base de datos (en este sentido, PostgreSQL es excelente). ¿Qué tan grande es su conjunto de datos? En cuanto al disco. 1GB? ¿Más? ¿Menos? – Mike