¿Cómo migrar un archivo CSV a Sqlite3 (o MySQL)? - Python

Question

Estoy usando Python para guardar los datos fila por fila ... ¡pero esto es extremadamente lento!

El CSV contiene 70 millones de líneas , y con mi guión que sólo puede almacenar un segundo 1thousand.

---

Esto es lo que se ve mi guión como

reader = csv.reader(open('test_results.csv', 'r')) 
for row in reader: 
    TestResult(type=row[0], name=row[1], result=row[2]).save() 

---

tengo por cierto que para las pruebas de que podría tener que considerar MySQL o PostgreSQL.

¿Alguna idea o consejo? Esta es la primera vez que trato con tales volúmenes masivos de datos. :)

Answer 1

para MySQL importaciones:

mysqlimport [options] db_name textfile1 [textfile2 ...] 

Para las importaciones SQLite3:

ref How to import load a .sql or .csv file into SQLite?

Answer 2

No sé si esto va a hacer una diferencia lo suficientemente grande, pero ya que' Re tratar con el ORM de Django Puedo sugerir lo siguiente:

1. Asegúrese de que DEBUG es False en el archivo de configuración de Django, ya que de lo contrario está almacenando cada consulta en la memoria.
2. Ponga su lógica en una función principal, y envuélvala en el decorador django.db.transactions.commit_on_success. Eso evitará que cada fila necesite su propia transacción, lo que acelerará sustancialmente el proceso.
3. Si sabe que todas las filas del archivo no existen en la base de datos, agregue force_insert = True a su llamada al método save(). Esto reducirá a la mitad el número de llamadas a sqlite necesarias.

Estas sugerencias probablemente harán una diferencia aún mayor si se encuentra utilizando un DBMS cliente-servidor.