MongoDB ETL (php/java ...)

Question

¿Existe un ETL para MongoDB? ...

Answer 1

La integración de datos Pentaho es compatible con MongoDB (Consulte la documentación http://wiki.pentaho.com/display/EAI/Pentaho+Data+Integration+Steps).

Del mismo modo Talend apoya MongoDB: https://github.com/adrien-mogenet/tMongoDBConnection

Answer 2

Para insertos simples de documentos CSV que sugeriría mirar la página Mongo wikiImport Export Tools.

Para cualquier cosa más complicada, sugeriría escribir un guión ad-hoc en el idioma con el que se sienta más cómodo.

Answer 3

Parece que Pentaho Data Integration y Talend sólo es compatible con la lectura de MongoDB, pero no escribir.

Otra herramienta que acaba de anunciar el soporte para MongoDB es DataCleaner, y admite operaciones de lectura y escritura. No se posiciona como una herramienta de ETL, sino más como una herramienta de análisis de calidad de datos, pero también tiene capacidades similares a ETL.

http://datacleaner.eobjects.org

Answer 4

he creado mi propia solución ETL con scripts python para transferir datos de MySQL para MongoDB. Es increíble en mi mente.

Básicamente, he usado después de dos módulos de Python para acceder a MySQL y mongodb:

1. pymongo
2. pitón-mysql.connect

Ambos son instalables desde el repositorio oficial de Ubuntu.

Answer 5

He creado el controlador MongoDB para la herramienta Scriptella ETL. Está disponible en https://github.com/scriptella/scriptella-mongodb.

Ejemplo de migración de datos de la tabla relacional:

<connection id="out" url="mongodb://localhost/test" classpath="../lib/scriptella-mongodb-driver.jar:../lib/mongo-java-driver-2.10.1.jar" /> 

<query connection-id="in"> 
    SELECT * FROM USERS 
    <script connection-id="out"> 
     { 
      operation: 'db.collection.save', 
      collection: 'users', 
      data: { 
       user_id: '?user_id', 
       name: '?name' 
      } 
     } 
    </script> 
</query> 

Answer 6

Este programa PHP transfiere automáticamente la base de datos MongoDB a MySQL, Es una introspección de las colecciones Mogno, crea esquema MySQL y transfiere los datos. Lo hace sólo 1 nivel profundo (nivel 0 y 1), de anidación más profundo no se migra:

http://my.sociopal.com/sociopaltech/post?id=simple_utility_for_copying_data_from_mongodb_to_mysql_this_is_a_simple_php_program_im_using_in_o_61755

Answer 7

Pentaho DI soporta MongoDB lee. No estoy seguro acerca de las escrituras. Creo que teniendo en cuenta la estructura subyacente de MongoDB en comparación con los RDBMS convencionales, es mejor buscar un proceso/script de ETL personalizado usando python/java, tal vez en lugar de herramientas comunes que podrían no hacer lo que dicen. Eventualmente uno de estos jugadores en el mercado BI-ETL tendría esto en su herramienta una vez que el proceso haya madurado y probado varias veces para mongoDb