Estoy buscando algo que facilite la ejecución (correctamente codificado) de código JVM vergonzosamente paralelo en un clúster (para que pueda usar Clojure + Incanter).JVM (vergonzosamente) bibliotecas/herramientas de procesamiento en paralelo
He usado Parallel Python en el pasado para hacer esto. Tenemos un nuevo clúster de PBS y nuestro administrador pronto configurará los nodos de IPython que usan PBS como el back-end. Ambos sistemas hacen que sea casi obvio ejecutar ciertos tipos de código en un clúster.
Cometí el error de usar Hadoop en el pasado (Hadoop simplemente no es adecuado para el tipo de datos que uso): la latencia que incluso las ejecuciones pequeñas ejecutan durante 1-2 minutos.
¿JPPF o Gridgain son mejores para lo que necesito? ¿Alguien aquí tiene alguna experiencia con cualquiera de los dos? ¿Hay algo más que puedas recomendar?
Parece prometedor, pero GPL es un dolor en el culo. –