Mostrando recuento incorrecto después de importar la tabla en Hive

Question

He importado cerca de 10 tablas en Hive de MS SQL Server. Pero cuando intento verificar los registros en Hive en una de las tablas, he encontrado más registros cuando ejecuto la consulta (seleccione count (*) from tblName;).

Luego he soltado esa Tabla y nuevamente la he importado en Hive. He observado en los Registros de la Consola que (Recuperé 203 registros). Y luego lo intenté de nuevo (seleccione count (*) from tblName;) y obtuve el conteo como 298.

No entiendo esto por qué sucede esto. ¿Algo está mal en la consulta o sucede debido a algún comando incorrecto de sqoop-import?

Todos los demás registros de la tabla están bien.

Pls me ayuda a salir de esto.

Answer 1

Tengo la solución para este problema de la lista de correo y me gustaría compartirla. Su respuesta vino como:

experimentamos un problema similar en el pasado - la tabla en la colmena parece tener más filas de las que se informó que fueron importadas por sqoop y que estaban realmente disponibles en la base de datos.

Problema descrito en nuestro lado estaba en caracteres incorrectos en los datos exportados que rompieron líneas en el archivo CSV de prueba exportado. Por ejemplo, algunas de nuestras filas contenían datos con nuevos caracteres de línea. Debido a que un par de filas exportadas se dividieron en más líneas, el número de filas de filas parecía ser más que el número de importación. Es posible que experimente un problema similar. Hemos resuelto el problema utilizando el parámetro --hive-drop-import-delims (o puede usar --hive-delims-replacement). Para la semántica y el uso, por favor considere tomar mirada en el manual:

http://incubator.apache.org/sqoop/docs/1.4.0-incubating/SqoopUserGuide.html#id1765770

Gracias