¿Debo preferir hadoop vs cóndor cuando trabajo con R?

Question

Estoy buscando formas de enviar trabajos para varias computadoras en mi cuadrícula de la computadora de la Universidad.

Actualmente se está ejecutando Condor y también ofrece Hadoop.

Mi pregunta es, por tanto, debería tratar de interfaz con R para Hadoop o al Conder para mis proyectos?

Para el debate, vamos a suponer que estamos hablando de tareas Embarazosamente paralelas.

p.s: He visto los recursos descritos en el CRAN task views.

Answer 1

Puede hacer ambas cosas.

Puede utilizar HDFS para sus conjuntos de datos y Cóndor para su planificación de tareas. El uso de Condor para colocar ejecutores en máquinas y HDFS + Hadoops Map-Reduce las características para procesar sus datos (suponiendo que su problema es map-reduce mappable). Luego está usando la herramienta más adecuada para el trabajo: Condor es un programador de trabajos, y como tal funciona mejor que Hadoop. Y el marco HDFS y M-R de Hadoop son cosas que Condor no tiene (pero son realmente útiles para los trabajos que se ejecutan en Condor).

Me gustaría ver personalmente en HDFS tiene para compartir datos entre los trabajos que se ejecutan de forma discreta como trabajos Condor. Especialmente en un entorno universitario, donde los recursos informáticos compartidos no son 100% confiables y pueden aparecer y desaparecer a voluntad, la capacidad de recuperación de Condor en este tipo de configuración hará que el trabajo sea mucho más fácil.