Python + MySQL - Inserción masiva

Question

Estoy trabajando con el módulo MySQLdb en Python para interactuar con una base de datos. Tengo una situación en la que hay una lista muy grande (decenas de miles de elementos) que necesito insertar como filas en una tabla.

Mi solución ahora es generar una gran declaración INSERT como una cadena y ejecutarla.

¿Hay alguna manera más inteligente?

Answer 1

Hay una manera más inteligente.

El problema con las inserciones masivas es que de forma predeterminada autocommit is enabled hace que cada una de las declaraciones insert se guarde en la tienda estable antes de que se pueda iniciar la próxima inserción.

Como se señala en las páginas de manual

Por defecto, MySQL se ejecuta con el modo de confirmación automática habilitado. Esto significa que tan pronto como ejecute una declaración de que actualiza (modifica) una tabla, MySQL almacena la actualización en el disco para que sea permanente. Para desactivar el modo de confirmación automática, utilizar la siguiente instrucción:

SET autocommit=0; 

Después de desactivar modo de confirmación automática mediante la variable de confirmación automática a cero, cambia a tablas transaccionales (como los de InnoDB , BDB o NDBCLUSTER) no se vuelven permanentes inmediatamente. Debe usar COMMIT para almacenar sus cambios en el disco o ROLLBACK para ignorar los cambios.

Esta es una característica bastante común de los sistemas RDBM que presumen que la integridad de la base de datos es primordial. Hace que las inserciones en bloque tomen del orden de 1 por inserción en lugar de 1 ms. La alternativa de hacer una instrucción de inserción extralarga trata de lograr esta única confirmación con el riesgo de sobrecargar el analizador SQL.

Answer 2

Siempre que lo haga como un único INSERT y no miles de los individuales, entonces esta es la mejor manera de hacerlo. Tenga cuidado con no exceder el tamaño máximo de paquete de mysqls, y ajústelo si es necesario. Por ejemplo, esto establece el paquete de servidor máximo a 32Mb. Debe hacer lo mismo en el cliente también.

mysqld --max_allowed_packet=32M 

Answer 3

Si tiene que insertar una gran cantidad de datos, ¿por qué está tratando de insertarlos todos en un solo insert? (Esto cargará innecesariamente su memoria al hacer esta gran cadena insert y también mientras la ejecuta. Tampoco esta es una solución muy buena si los datos que va a insertar son muy grandes)

¿Por qué no hacer? usted pone una fila por comando insert en el DB y pone todas las filas usando un for...loop y compromete todos los cambios al final?

con = mysqldb.connect(
         host="localhost", 
         user="user", 
         passwd="**", 
         db="db name" 
        ) 
cur = con.cursor() 

for data in your_data_list: 
    cur.execute("data you want to insert: %s" %data) 

con.commit() 
con.close() 

(Créanme, esto es muy rápido, pero si usted está consiguiendo resultados más lentos, entonces significa que su autocommit debe haber True.Establecerlo en False como msw dice.)