¿Las particiones mejorarán la velocidad de MySQL INSERT?

Question

Estoy haciendo un montón de INSERT a través de LOAD DATA INFILE en MySQL 5.0. Después de muchas inserciones, digamos unos cientos de millones de filas (InnoDB, PK + un índice no exclusivo, 64 bit Linux, 4 GB de RAM, RAID 1), las inserciones se ralentizan considerablemente y aparecen vinculadas a IO. ¿Es probable que las particiones en MySQL 5.1 mejoren el rendimiento si los datos fluyen en tablas de particiones separadas?

Answer 1

La respuesta anterior es errónea en su suposición de que esto disminuirá el rendimiento. Todo lo contrario.

Aquí hay un artículo muy largo, pero informativo y el por qué y cómo hacer la partición en MySQL:

http://dev.mysql.com/tech-resources/articles/partitioning.html

partición se utiliza normalmente, como se mencionó, al grupo como en datos juntos. De esta forma, cuando decides archivar o destruir una partición, tus tablas no se fragmentarán. Esto, sin embargo, no perjudica el rendimiento, de hecho puede aumentarlo. Mira, no solo son eliminaciones las fragmentaciones, las actualizaciones y las inserciones también pueden hacer eso. Al particionar los datos, le está dando al RDBMS los criterios (indeces) por los cuales los datos deben ser manipulados y consultados.

Answer 2

Si las columnas INSERTAR comprobaciones (claves primarias, por ejemplo) están indexadas, entonces esto solo disminuirá la velocidad: MySQL tendrá que decidir adicionalmente sobre la partición.

Todas las consultas solo se mejoran al agregar índices. El particionamiento es útil cuando tienes toneladas de datos muy antiguos (por ejemplo, año < 2000) que rara vez se utilizan: entonces sería bueno crear una partición para esa información.

¡Salud!

Answer 3

Editar: SiLent SoNG es correcto. LAS TECLAS DE DESACTIVAR/HABILITAR solo funcionan para MyISAM, no para InnoDB. Nunca lo supe, pero fui y leí los documentos. http://dev.mysql.com/doc/refman/5.1/en/alter-table.html#id1101502.

La actualización de cualquier índice puede ser lo que ralentiza. Puede desactivar los índices mientras realiza su actualización y volverlos a activar para que se puedan generar una vez para toda la tabla.

 
ALTER TABLE foo DISABLE KEYS; 
LOAD DATA INFILE ... ; 
ALTER TABLE ENABLE KEYS; 

Esto hará que todos los índices se actualicen de una vez en vez de por fila. Esto también conduce a índices BTREE más equilibrados.

Answer 4

No hay mejoría en MySQL 5.6

"MySQL pueden solicitar la poda partición a SELECT, DELETE y UPDATE. Insertan sentencias actualmente no se pueden podar."

http://dev.mysql.com/doc/refman/5.6/en/partitioning-pruning.html