Cómo transferir la tabla mysql a colmena?

Question

Tengo una gran tabla mysql que me gustaría transferir a una tabla Hadoop/Hive. ¿Hay comandos o técnicas estándar para transferir una tabla simple (pero grande) de Mysql a Hive? La tabla almacena principalmente datos analíticos.

Answer 1

1. En primer lugar descarga mysql-connector-java-5.0.8 y poner el frasco para lib y carpeta bin de Sqoop

2. Crear la definición de tabla en Hive con nombres de campos exactos y tipos como en mysql

   sqoop import --verbose --fields-terminted-by ',' --connect jdbc: mysql: // localhost/test --table employee --hive-import --warehouse-dir/user/hive/warehouse --fields-endedted -por ''

prueba --split-por empleado Identificación del --hive-mesa - nombre de la base

empleado - nombre de tabla (presente en prueba)

/user/colmena/almacén - Directorio en HDFS donde los datos deben ser importados

- id-por-id puede ser la clave principal de la tabla 'empleado'

--hive-tabla de empleados - tabla de empleados cuya definición está presente en la colmena

Sqoop User Guide (Uno de la mejor guía para el aprendizaje Sqoop)

Answer 2

Apache Sqoop es una herramienta que resuelve este problema:

Apache Sqoop (TM) es una herramienta diseñada para la transferencia de datos de manera eficiente a granel entre Apache Hadoop y almacenes de datos estructurados como bases de datos relacionales.

Answer 3

Tome un vistazo a: http://archive.cloudera.com/cdh/3/sqoop/SqoopUserGuide.html#_importing_data_into_hive