2011-12-14 18 views
6

Soy nuevo en este tema. Decidí desarrollar un marco de procesamiento paralelo para aplicaciones de procesamiento de datos en la nube en Java para mi proyecto. el marco tiene que dividir el código java secuencial dado y procesar esos subcódigos en diferentes máquinas virtuales en la nube. el marco tiene que asignar dinámicamente y desasignar los recursos de acuerdo con la carga. Mi problema es cómo desarrollar el marco.framework de procesamiento paralelo en java

¿Hay alguna biblioteca disponible para programar el código de Java en una máquina virtual diferente en la nube? por favor infórmeme si hay algo disponible.

+0

Curiosamente, he estado tratando de construir uno también. Ya tengo un marco de procesamiento en paralelo escrito utilizando scripts simples de shell y python (fabric). No estoy seguro si eso ayudaría. Hadoop o tormenta es más de procesamiento distribuido y agregación de datos en tiempo real/lote. Estoy buscando específicamente frameworks de procesamiento en paralelo basados ​​en Java, ya que hay algunas dependencias adicionales para tenerlo en Java. Al menos, estoy buscando módulos de Java que me ayuden a construir una arquitectura de procesamiento realmente embarazosamente paralela. – user1652054

Respuesta

1

Eche un vistazo a Hadoop, un marco que permite básicamente lo mismo, y admite el despliegue automático de código sobre el clúster.

4

Terracotta y Gridgain son excelentes soluciones. Los citados por yerlikayaoglu (Hadoop y hazelcast) también son excelentes en su dominio, pero son todos muy diferentes y dependen del caso de uso. Eso es para el problema map/reduce

Otro es la asignación/desasignación de máquinas virtuales. Depende de tu proveedor de la nube y de otra cosa. Puedes echar un vistazo a jClouds

0

Si quieres hacer el procesamiento en tiempo real puedes echar un vistazo al storm. También Akka proporciona una agradable API de actores remotos para scala y java.

Cuestiones relacionadas