Cómo usar autoincrement-IDs en la exportación Sqoop

Question

Tengo un archivo de texto separado por pestañas en HDFS, y quiero exportarlo a una tabla MySQL.

Dado que las filas en el archivo de texto no tienen identificadores numéricos, ¿cómo exportaré a una tabla con un ID establecido automáticamente durante el SQL INSERT (autoincrement)?

Si trato de exportar (id siendo el último atributo definido en la tabla), consigo

java.util.NoSuchElementException 
    at java.util.AbstractList$Itr.next(AbstractList.java:350) 
    at entity.__loadFromFields(entity.java:996) 

Si tomo la clase autogenerada y modificarlo para excluir la id-atributo, consigo

java.io.IOException: java.sql.SQLException: No value specified for parameter 27 

donde el parámetro 27 es 'id'.

Versión 1.3.0 es Sqoop-cdh3u3

Answer 1

I n Sqoop 1.4.1, escribiendo un "nulo" en la posición del campo de archivo de texto correspondiente al campo de autoincrement trabajado para mí. Después de exportar a mySQL, verá un ID incrementado y automáticamente asignado.

Answer 2

Como alguien en la lista de correo Sqoop sugirió:

• crear una tabla temporal sin el ID
• Sqoop-exportación en esta tabla
• Copiar las filas de esta tabla en la tabla final (que tiene el ID de autoincrement)

Answer 3

Mi tabla fuente está en HIVE. Lo que funciona para mí es que agrego una columna llamada id int y llene la columna como NULL. Después de sqoop, el mysql recibirá los valores de inserción (id, X, Y) (null, "valor_x, y_valor"). Luego, mysql sabe completar el id como autoincremento.