Cómo lidiar con enormes longitudes de línea creadas por mysqldump

Question

Estoy usando mysqldump en un trabajo cron para hacer una copia de seguridad de una base de datos con más de 2 millones de filas.

Crea un archivo de texto que se puede usar para restaurar el registro de datos desde la línea de comandos.

pensé que sería útil para editar el vertedero antes de una restauración rápida como forma de cambiar los valores y nombres de tabla o columna - al menos hasta que aprenda más y cobrando ánimo de hacerlo con modificaciones y actualizaciones.

grandes archivos de texto Edición no me molesta, pero se sorprendió al descubrir que en un 250 megabytes volcado de mi base de datos, sólo había alrededor de 300 líneas. Cada línea tenía algo así como 800k caracteres de largo.

¿Hay alguna otra manera de generar volcados con más control sobre la longitud de línea?

¿O debería post-procesar el volcado con herramientas como sed o Perl?

Answer 1

Por defecto, mysqldump genera un único comando INSERT por mesa, lo que resulta en una línea (muy largo) de los datos insertados para cada tabla que Conseguí descargado. Esto se debe esencialmente a que las inserciones de "lote" son mucho más rápidas que si generara una consulta INSERT por separado para cada registro en cada tabla.

Por lo tanto, no es que mysqldump haya creado líneas arbitrariamente largas, y usted puede simplemente imponer otra longitud de corte. Las líneas son largas por una razón.

Si es realmente importante para obtener los INSERT s desglosados ​​en varias líneas, se puede indicar que con:

mysqldump --extended-insert=FALSE --complete-insert=TRUE ... 

Nótese, sin embargo, que las tablas de restauración se tardará más en este formato.

Answer 2

Proceso posterior del archivo de volcado con python. Puede ser más feliz que Perl o Sed.

Si está ejecutando en Linux, ya lo tiene instalado. Si está ejecutando en Windows, el instalador es sencillo.

Antes de eso, sin embargo, aprenda a utilizar SQL ACTUALIZAR y SQL ALTERAR. Serás más feliz haciendo las cosas bien.

Answer 3

Estaba navegando el código fuente de MySQL en busca de una solución a este problema hoy. La longitud de línea máxima es impuesta por la variable opt_net_buffer_length que se supone que coincide con el tamaño del búfer del servidor MySQL. Es cómicamente grande.

Pero de todos modos, es una opción, por lo que sólo hacen esto:

mysqldump --net_buffer_length=5000 ... 

El valor mínimo es 4096.

Answer 4

me encontré con una respuesta en los foros de MySQL, que de manera concluyente demostraciones agregando '\ n' después de cada grupo INSERT no es posible usando mysqldump solo, sin modificar la fuente:

El formato extendido no puede ser 100 % correctamente analizado en función de la coma o paréntesis, debe contar los campos. La mejor solución es reparar mysqldump en linebreak en la salida.

cambio muy pequeño: En la línea 3506, se puede ver donde se emite la fila interminable coma:
fputc(',',md_result_file); /* Always row break */

Simplemente inserte esta línea de inmediato después de la línea 3506:
fputc('\n',md_result_file); /* Lon Binder says wrap that line! */

re- compilar y hacer.

@see http://forums.mysql.com/read.php?28,420002,426110#msg-426110

Gracias Lon B!

(He incluido el contenido del foro de MySQL sólo en caso de que desaparezca el foro.)

Answer 5

Usando una expresión regular para dividir líneas no es suficiente, se necesita un analizador que va a entender correctamente las cotizaciones y escapar caracteres.

acabo escribió un programa de análisis ya que no pude encontrar uno: http://blog.lavoie.sl/2014/06/split-mysqldump-extended-inserts.html

Answer 6

Esta bandera también se trabajó:

mysqldump --skip-extended-insert 

Así mismo que --extended-insert=FALSE.