Marco ETL para cargar datos en la aplicación Rails

Question

Necesito cargar datos para mi aplicación Rails desde múltiples proveedores (fuentes XML basadas en REST/SOAP) en la base de datos de manera recurrente. He escrito un conjunto de tareas de Rake que se inician mediante tareas cron creadas en cualquier momento. Cada tarea golpea el punto final de alimentación del compañero, analiza el avance y lo carga en la base de datos.

En vez de escribir tareas de Rake, ¿debería usar un marco de ETL como ActiveWarehouse (http://activewarehouse.rubyforge.org/etl/)? ¿Alguna sugerencia sobre la mejor manera de hacer esto en Rails?

Answer 1

Si solo está cargando datos en un conjunto de tablas, y el caso de uso es simple, como simplemente agregar nuevos registros o actualizar los básicos, y su carga cumple con sus requisitos, me quedaré con eso. También podría usar ActiveWarehouse, pero suena a excesivo. Sin embargo, si necesita admitir el cambio de dimensiones (es decir, preservar el historial de cambios de datos a lo largo del tiempo) u otras características del 'depósito de datos', entonces algo como ActiveWarehouse comienza a tener más valor.