Cuál es la forma más eficiente de insertar miles de registros en una tabla (MySQL, Python, Django)

Question

Tengo una tabla de base de datos con un campo de cadena único y un par de campos enteros. El campo de cadena suele tener entre 10 y 100 caracteres.

Una vez cada minuto más o menos tengo la siguiente situación: recibo una lista de 2-10 mil tuplas correspondientes a la estructura de registro de la tabla, p.

[("hello", 3, 4), ("cat", 5, 3), ...] 

tengo que insertar todas estas tuplas de la tabla (se supone He verificado ninguna de estas cadenas aparecen en la base de datos). Para aclarar, estoy usando InnoDB, y tengo una clave primaria autoincremental para esta tabla, la cadena no es PK.

Mi código actualmente itera a través de esta lista, para cada tupla crea un objeto de módulo de Python con los valores apropiados, y llama ".save()", algo así:

@transaction.commit_on_success 
def save_data_elements(input_list): 
    for (s, i1, i2) in input_list: 
     entry = DataElement(string=s, number1=i1, number2=i2) 
     entry.save() 

Este código es actualmente uno de los cuellos de botella de rendimiento en mi sistema, entonces estoy buscando formas de optimizarlo.

Por ejemplo, podría generar códigos SQL que contengan cada uno un comando INSERT para 100 tuplas ("codificadas" en el SQL) y ejecutarlo, pero no sé si mejorará algo.

¿Tiene alguna sugerencia para optimizar dicho proceso?

Gracias

Answer 1

es posible escribir las filas en un archivo en el formato "campo1", "campo2", .. y luego usar LOAD DATA para cargarlos

data = '\n'.join(','.join('"%s"' % field for field in row) for row in data) 
f= open('data.txt', 'w') 
f.write(data) 
f.close() 

A continuación, ejecute la siguiente:

LOAD DATA INFILE 'data.txt' INTO TABLE db2.my_table; 

Reference

Answer 2

¿qué formato recibes? si es un archivo, puede hacer algún tipo de carga masiva: http://www.classes.cs.uchicago.edu/archive/2005/fall/23500-1/mysql-load.html

Answer 3

Específicamente para MySQL, la forma más rápida de cargar datos es usando LOAD DATA INFILE, por lo que si puede convertir los datos en el formato que espera, probablemente sea la forma más rápida de incluirlo en la mesa.

Answer 4

Si no lo hace LOAD DATA INFILE como algunas de las otras sugerencias mencionan, dos cosas que puede hacer para acelerar sus inserciones son:

1. Uso prepara declaraciones - esto reduce la sobrecarga de analizar el SQL para cada inserte
2. hacer todas sus inserciones en una sola transacción - esto requeriría el uso de un motor de base de datos que soporta transacciones (como InnoDB)

Answer 5

Si puede hacer una declaración hecha a mano INSERT, entonces ese es el camino que seguiría. Una sola instrucción INSERT con cláusulas de valores múltiples es mucho más rápida que muchas declaraciones individuales INSERT.

Answer 6

Esto no está relacionado con la carga real de datos en el DB, pero ...

Si proporciona un "Los datos se están cargando ... La carga se realizará en breve" es una opción el tipo de mensaje para el usuario, luego puede ejecutar los INSERT o CARGAR DATOS de forma asíncrona en un hilo diferente.

Algo más a considerar.

Answer 7

Independientemente del método de inserción, querrá usar el motor InnoDB para una concurrencia máxima de lectura/escritura. MyISAM bloqueará la tabla completa mientras dure la inserción, mientras que InnoDB (en la mayoría de los casos) solo bloqueará las filas afectadas, permitiendo que las instrucciones SELECT continúen.

Answer 8

No conozco los detalles exactos, pero puede usar la representación de datos de estilo json y utilizarla como accesorios o algo así. Vi algo similar en Django Video Workshop por Douglas Napoleone. Vea los videos en http://www.linux-magazine.com/online/news/django_video_workshop. y http://www.linux-magazine.com/online/features/django_reloaded_workshop_part_1. Espero que esto ayude.

Espero que pueda resolverlo. Acabo de empezar a aprender django, así que puedo apuntarlo a los recursos.