lenta MySQL inserta

Question

estoy usando y trabajando en el software que utiliza MySQL como motor de backend (se puede usar a otros como PostgreSQL u Oracle o SQLite, pero esta es la principal aplicación que estamos utilizando). El software fue diseñado de tal manera que los datos binarios queremos acceder se mantiene como BLOB en columnas individuales (cada tabla tiene una BLOB columna, otras columnas tienen números enteros/flotadores para caracterizar la BLOB y una cuerda columna con el hash MD5 BLOB). Las tablas tienen típicamente 2, 3 o 4 índices, uno de los cuales es siempre la columna MD5, que se hace UNIQUE. Algunas tablas ya tienen millones de entradas y han ingresado en el tamaño de varios gigabytes. Mantenemos bases de datos MySQL separadas por año en el mismo servidor (hasta ahora). El hardware es bastante razonable (creo) para aplicaciones generales (un servidor Dell PowerEdge 2U-form).

MySQL SELECT consultas son relativamente rápido. Hay poca queja allí, ya que estos son (la mayoría de las veces) en modo por lotes. Sin embargo, las consultas INSERT tardan mucho tiempo, lo que aumenta con el tamaño de la tabla (número de filas). Es cierto que esto se debe a que la columna MD5 es del tipo UNIQUE y, por lo tanto, cada INSERT tiene que determinar si cada nueva fila tiene una cadena MD5 correspondiente, ya insertada. Y no es demasiado extraño (creo) si el rendimiento empeora si hay otros índices (no únicos). Pero todavía no puedo dejar de pensar que esta opción de arquitectura de software (sospecho que mantener BLOBs en la fila de la tabla en lugar de disco tiene un impacto negativo significativo) no es la mejor opción. Las inserciones no son críticas, pero es una sensación molesta tener.

¿Alguien tiene experiencia en situaciones similares? ¿Con MySQL, o incluso con otros RDBM (preferiblemente basados ​​en Linux)? ¿Alguna idea que le gustaría proporcionar, tal vez algunas cifras de rendimiento?

Por cierto, el idioma de trabajo es C++ (que envuelve C llama a la API de MySQL).

Answer 1

Podría ser un tiempo para la partición horizontal y en movimiento campo BLOB en una tabla separada. En este article en 'A Quick Side Note on Vertical Partitioning', el autor elimina un campo varchar más grande de una tabla y aumenta la velocidad de una consulta sobre el orden de magnitud.

La razón es transversal física de los datos en el disco se convierte en mucho más rápido si hay menos espacio para cubrir, por lo que pasar los campos más grandes aumenta el rendimiento en otros lugares.

También (y probablemente ya lo haga) es beneficioso disminuir el tamaño de la columna de índice a su mínimo absoluto (char (32) en codificación ascii para md5), porque el tamaño de la clave es directamente proporcional al velocidad de su uso.

Si inserciones múltiples a la vez con las tablas InnoDB puede aumentar significativamente la velocidad de insertos envolviéndolos en la transacción y se hacen inserciones mupliple en una consulta:

START TRANSACTION 
INSERT INTO x (id, md5, field1, field2) values (1, '123dab...', 'data1','data2'),(2,'ab2...','data3','data4'),.....; 
COMMIT 

Answer 2

¿Estás utilizando MyISAM?
AFAIK MyISAM tiene un rendimiento de lectura muy bueno, pero un rendimiento de escritura incorrecto.

InnoDB debe tener una velocidad equilibrada.

Answer 3

Ver Speed of INSERT Statements. ¿Tiene colisiones MD5 frecuentes? Creo que esto no debería suceder demasiadas veces, así que tal vez puedas usar algo como INSERT ... ON DUPLICATE para manejar las colisiones. Si tiene períodos de inserción específicos, puede disable keys para el momento de la inserción y restaurarlos más tarde. Otra opción es usar replication, usando una máquina maestra para las inserciones y un esclavo para las selecciones.

Answer 4

Cómo encaja sus datos en la memoria RAM? Si no, obtenga más RAM hasta que se vuelva antieconómico (16G suele ser el punto para la mayoría de la gente).

Entonces, ¿sus índices encajan en el buffer de la llave MyISAM?

Si está ejecutando un sistema operativo de 32 bits, no lo haga. Una vez que esté en un sistema operativo de 64 bits, configure el buffer de teclas para que sea aproximadamente 1/3 del ram. La caché del sistema operativo utiliza memoria RAM para almacenar en caché los archivos de datos (lo que hace poco para las inserciones, pero es beneficioso para las selecciones).

Tener tablas de varios gigabytes en MyISAM puede ser un dolor ya que se requieren en el caso de un cierre sucio, muy largo operación (s) de reparación, pero

no lo enchufe motores MySQL sin validación importante de su aplicación, cambiará el comportamiento de muchas maneras (no solo el rendimiento). Afectará el uso del espacio del disco.

Answer 5

Hoy también he preguntado algo relacionado question.

Una de las respuestas proporcionadas es considerar el INSERT DELAYED para que entre en la cola de inserción y se maneje cuando el db no está tan ocupado.