Cargar archivo CSV grande aproximadamente 10,000,000 registros en la tabla mysql también contiene filas duplicadas

Question

Quiero cargar un archivo csv grande aproximadamente 10,000,000 registros en la tabla mysql que también contienen el mismo número o más. de registros y también algunos registros duplicados. Intenté el archivo de datos locales, pero también me está llevando más tiempo. ¿Cómo puedo resolver esto sin esperar mucho tiempo? Si no se puede resolver, ¿cómo puedo hacerlo con AJAX para enviar algunos registros y procesarlos a la vez y lo haré hasta que se cargue/procese todo el csv?

Answer 1

Prueba esto:

load data local infile '/yourcsvfile.csv' into table yourtable fields terminated by ',' lines terminated by '\r\n' 

Answer 2

LOAD DATA INFILE no va a ser vencido velocidad se refiere. Hay algunas cosas que puede hacer para acelerarlo:

• eliminar o inhabilitar algunos índices (pero, por supuesto, que llegaremos a esperar a que se construyan después de la carga, pero esto es a menudo más rápido.). Si está utilizando MyISAM, puede ALTER TABLE *foo* DISABLE KEYS, pero InnoDB no lo admite, desafortunadamente. Tendrás que dejarlos en su lugar.
• Optimice su configuración my.cnf. En particular, es posible que pueda desactivar muchas cosas de seguridad (como fsync). Por supuesto, si sufre un bloqueo, tendrá que restaurar una copia de seguridad y volver a iniciar la carga. Además, si está ejecutando el my.cnf predeterminado, la última vez que lo revisé es bastante subóptimo para una máquina de base de datos. Hay muchas guías de afinación disponibles.
• Compre un hardware más rápido. O alquila algunos (por ejemplo, prueba una instancia rápida de Amazon ECC).
• Como menciona @ZendDevel, considere otras soluciones de almacenamiento de datos, si no está bloqueado en MySQL. Por ejemplo, si solo está almacenando una lista de números de teléfono (y algunos datos con ellos), una tabla simple de hash será mucho más rápida.

Si el problema es que está matando el rendimiento de una base de datos, puede dividir su archivo CSV en varios archivos CSV y cargarlos en fragmentos.

Answer 3

Según su motor de almacenamiento, esto puede llevar mucho tiempo. Me di cuenta de que con MYISAM va un poco más rápido. Acabo de probar con el mismo conjunto de datos y finalmente fui con PostgreSQL porque era más robusto al cargar el archivo. Innodb fue tan lento que lo aborté después de dos horas con el mismo tamaño de datos, pero era de 10,000,000 de registros por 128 columnas llenas de datos.

Answer 4

Como esta es una lista blanca que se actualiza a diario, ¿no significa que hay una gran cantidad de duplicados (después del primer día)? Si este es el caso, haría la carga mucho más rápida para hacer un script simple que verifica si el registro ya existe antes de insertarlo.

Answer 5

Intentar esta consulta:

$sql="LOAD DATA LOCAL INFILE '../upload/csvfile.csv' 
INTO TABLE table_name FIELDS 
TERMINATED BY ',' 
ENCLOSED BY '' 
LINES TERMINATED BY '\n' " 

Answer 6

cuenta de que era el mismo problema y encontrar una manera de salir. Puede verificar el proceso para cargar archivos CSV grandes usando AJAX.

How to use AJAX to upload large CSV file?