Alternativas de MapReduce

Question

¿Hay algún paradigma alternativo a MapReduce (Google, Hadoop)? ¿Hay alguna otra manera razonable de cómo dividir & fusionar grandes problemas?

Answer 1

Definitivamente. Consulte, por ejemplo, Bulk Synchronous Parallel. Mapa/Reducir es, de hecho, una forma muy restringida de reducir problemas, sin embargo, esa restricción lo hace manejable en un marco como Hadoop. La pregunta es si es menos problemático presionar su problema en una configuración de Mapa/Reducir, o si es más fácil crear un esquema de paralelización específico de dominio y tener que encargarse de todos los detalles de la implementación usted mismo. Pig, de hecho, es solo una capa de abstracción sobre Hadoop que automatiza muchas transformaciones estándar de problemas desde no-Map-Reduce-y a Map-Reduce-compatible.

Editar 1/26/13: Encontrado un nice up-to-date overview here

Answer 2

Phil Colella identificó siete métodos numéricos para la computación científica sobre la base de los patrones de dispersión y la recolección de datos entre nodos de procesamiento, y los llamó 'empequeñece'. Estos se han añadido a por otros, una lista está disponible en los Dwarf Mine:

1. Dense Álgebra Lineal
2. Sparse de álgebra lineal Métodos
3. espectrales
Métodos
4. N-Body
5. Grids Estructurados
6. Rejillas no estructuradas
7. MapReduce
8. Combinational Logi c
9. Gráfico Transversal
10. Programación Dinámica
11. dar marcha atrás y
12. Modelos gráficos Branch-and-Bound Máquinas
13. de Estados Finitos

Answer 3

de Microsoft Dryad se afirma que es más general que MapReduce.

Answer 4

Actualización (agosto de 2014): La estratosfera ahora se llama Apache Flink (incubando).

Eche un vistazo a Stratosphere. Es otro tiempo de ejecución de Big Data que ofrece más operadores (mapa, reducir, unir, unir, cruzar, iterar, ...). También permite definir gráficos de flujo de datos avanzados (con Hadoop MR, tendría que encadenar trabajos).

Stratosphere también es compatible con BSP con su abstracción de procesamiento gráfico (llamada Spargel).

Si le gusta leer artículos científicos, eche un vistazo a Nephele/PACTs: A Programming Model and Execution Framework for Web-Scale Analytical Processing, explica los antecedentes teóricos del sistema.

Otro sistema en el campo es Spark que tiene su propio modelo (RDD). Dado que BSP ha sido mencionado aquí, también eche un vistazo a GraphLab, la oferta es una alternativa a BSP.