¿Vale la pena intentar con MonetDB?

Question

¿Alguien ha tenido alguna experiencia con MonetDB? Actualmente, tengo una base de datos MySQL que crece demasiado y las consultas se vuelven demasiado lentas. De acuerdo con el paradigma orientado a columnas, las inserciones serán más lentas (lo que no me molesta en absoluto), pero la recuperación de datos se vuelve muy rápida. ¿Tengo alguna posibilidad de obtener más rendimiento de recuperación de datos simplemente cambiando a MonetDB? ¿Es MonetDB lo suficientemente maduro?

Answer 1

Tiene la posibilidad de mejorar el rendimiento de su aplicación. Sin embargo, la ganancia depende en gran medida de su carga de trabajo, el tamaño de su base de datos y su hardware. MonetDB se desarrolla/ajusta bajo dos supuestos principales:

1. Su carga de trabajo es analítica, es decir, tiene muchas agregaciones (agrupadas) y similares.
2. Aún más importante: su conjunto de datos calientes (los datos con los que realmente trabaja) encajan en la memoria principal de su sistema. MonetDB no tiene su propio administrador de búfer pero depende del sistema operativo para manejar la E/S de disco. Dado que el sistema operativo (especialmente Windows pero Linux también) a veces es muy tonto sobre el intercambio de disco que puede convertirse en un problema (especialmente para las uniones que se quedan sin memoria).

En cuanto a la madurez, es probable que haya más opiniones al respecto que las personas que habitan en este planeta. Personalmente, me parece lo suficientemente maduro, pero soy un miembro del equipo de desarrollo y, por lo tanto, parcial. Pero MonetDB es un proyecto de investigación, por lo que si tiene una aplicación interesante, nos encantaría escucharla y ver si podemos ayudar.

Answer 2

La respuesta, por supuesto, depende de su carga, pero mi experiencia hasta ahora parece indicar que todo es más rápido en MonetDB que lo que he visto en MySQL. La excepción serían las combinaciones, que no solo parecen ser lentas, sino que parecen completamente ineptas en la canalización, así que terminas necesitando montones de memoria para procesar las grandes. Dicho esto, mi experiencia con combinaciones en MySQL tampoco ha sido exactamente estelar, así que supongo que tus expectativas pueden ser bajas. Si realmente quieres un buen rendimiento en las uniones, probablemente recomendaría SQL Server o similares; para aquellas otras consultas que menciones en los comentarios de seguimiento, MonetDB debería ser increíble.

Por ejemplo, dada una tabla con aproximadamente 2 millones de filas, pude alinear en una columna (donde había alrededor de 800K filas en el rango) y ordenar por otra columna y el resultado limitado fue procesado y devuelto en 25ms. El rendimiento de ese tipo de consultas parece degradarse con la escala, pero eso debería darle una idea de lo que podría esperar a esa escala.

Debo advertir que el modelo de concurrencia optimista podría arrojar aquellos que solo han estado expuestos a la concurrencia pesimista (la mayoría de las personas). Lo investigaría antes de preguntarme por qué algunas de sus confirmaciones fallan bajo carga concurrente.