MySQL carga valores NULL de datos CSV

Question

Tengo un archivo que puede contener de 3 a 4 columnas de valores numéricos que están separados por comas. Los campos vacíos se definen con la excepción cuando se encuentran al final de la fila:

1,2,3,4,5 
1,2,3,,5 
1,2,3 

En la siguiente tabla se creó en MySQL:

 
+-------+--------+------+-----+---------+-------+ 
| Field | Type | Null | Key | Default | Extra | 
+-------+--------+------+-----+---------+-------+ 
| one | int(1) | YES |  | NULL |  | 
| two | int(1) | YES |  | NULL |  | 
| three | int(1) | YES |  | NULL |  | 
| four | int(1) | YES |  | NULL |  | 
| five | int(1) | YES |  | NULL |  | 
+-------+--------+------+-----+---------+-------+ 

Estoy tratando de cargar los datos mediante el comando CARGA MySQL :

LOAD DATA INFILE '/tmp/testdata.txt' INTO TABLE moo FIELDS 
TERMINATED BY "," LINES TERMINATED BY "\n"; 

La tabla resultante:

 
+------+------+-------+------+------+ 
| one | two | three | four | five | 
+------+------+-------+------+------+ 
| 1 | 2 |  3 | 4 | 5 | 
| 1 | 2 |  3 | 0 | 5 | 
| 1 | 2 |  3 | NULL | NULL | 
+------+------+-------+------+------+ 

El problema radica en el hecho de que cuando un campo está vacío en los datos brutos y no está definido, MySQL por alguna razón no usa el valor predeterminado de las columnas (que es NULO) y usa cero. NULL se usa correctamente cuando el campo falta por completo.

Lamentablemente, tengo que ser capaz de distinguir entre NULL y 0 en esta etapa por lo que cualquier ayuda sería apreciada.

Gracias S.

edición

la salida de SHOW ADVERTENCIAS:

 
+---------+------+--------------------------------------------------------+ 
| Level | Code | Message            | 
+---------+------+--------------------------------------------------------+ 
| Warning | 1366 | Incorrect integer value: '' for column 'four' at row 2 | 
| Warning | 1261 | Row 3 doesn't contain data for all columns    | 
| Warning | 1261 | Row 3 doesn't contain data for all columns    | 
+---------+------+--------------------------------------------------------+ 

Answer 1

Esto va a hacer lo que quiere. Se lee el cuarto campo en una variable local, y selecciona el valor real del campo en NULL, si la variable local termina contiene una cadena vacía:

LOAD DATA infile '/tmp/testdata.txt' 
INTO TABLE moo 
fields terminated BY "," 
lines terminated BY "\n" 
(one, two, three, @vfour, five) 
SET four = nullif(@vfour,'') 
; 

Si todos son posiblemente vacía, entonces sería léelos todos en variables y tenga varias sentencias SET, como esta:

LOAD DATA infile '/tmp/testdata.txt' 
INTO TABLE moo 
fields terminated BY "," 
lines terminated BY "\n" 
(@vone, @vtwo, @vthree, @vfour, @vfive) 
SET 
one = nullif(@vone,''), 
two = nullif(@vtwo,''), 
three = nullif(@vthree,''), 
four = nullif(@vfour,'') 
; 

Answer 2

preproceso CSV de entrada para reemplazar las entradas en blanco con \ N.

Intento de una expresión regular: s/,, /, \ n,/gy s /, $ /, \ N/g

Buena suerte.

Answer 3

MySQL manual dice:

Al leer los datos con LOAD DATA INFILE , vacío o columnas que faltan son actualizado con ''. Si desea un valor NULO en una columna, debe usar \ N en el archivo de datos. La palabra literal "NULO" también se puede utilizar en algunas circunstancias .

por lo que necesita para reemplazar los espacios en blanco con \ N así:

1,2,3,4,5 
1,2,3,\N,5 
1,2,3 

Answer 4

El comportamiento es diferente dependiendo de la configuración de la base de datos. En el modo estricto esto arrojaría un error si no una advertencia. La siguiente consulta se puede usar para identificar la configuración de la base de datos.

mysql> show variables like 'sql_mode';