Mapa y Reducir en .NET

Question

¿Qué escenarios justificarían el uso del algoritmo "Map and Reduce"?

¿Hay una implementación .NET de este algoritmo?

Answer 1

equivalentes de Linq Mapa y Reducir: Si tienes la suerte de tener LINQ, entonces no es necesario escribir su propio mapa y reducir funciones. C# 3.5 y Linq ya lo tienen aunque con diferentes nombres.

Map = Select | Enumerable.Range(1, 10).Select(x => x + 2); 
Reduce = Aggregate | Enumerable.Range(1, 10).Aggregate(0, (acc, x) => acc + x); 
Filter = Where | Enumerable.Range(1, 10).Where(x => x % 2 == 0); 

https://www.justinshield.com/2011/06/mapreduce-in-c/

Answer 2

Si estabas tratando de escribir tu propia versión de Google, ¡eso podría garantizarlo!

En serio, si tiene un problema que puede descomponerse en varios problemas más pequeños, entonces una solución Map-Reduce funcionaría. El documento de Google en MapReduce tiene un buen número de ejemplos, incluyendo la forma de procesar miles de páginas web, el recuento de palabras del documento, etc, etc

Answer 3

Ver esta otra pregunta respecto map/reduce:

Generic List Extensions in C#

Answer 4

Las clases de problemas que son adecuadas para una solución de estilo mapreduce son problemas de agregación. De extraer datos de un conjunto de datos. En C#, uno podría aprovechar LINQ para programar en este estilo.

Desde el siguiente artículo: http://codecube.net/2009/02/mapreduce-in-c-using-linq/

el método GroupBy está actuando como el mapa, mientras que el método Select hace el trabajo de la reducción de los resultados intermedios en la lista final de los resultados.

var wordOccurrences = words 
       .GroupBy(w => w) 
       .Select(intermediate => new 
       { 
        Word = intermediate.Key, 
        Frequency = intermediate.Sum(w => 1) 
       }) 
       .Where(w => w.Frequency > 10) 
       .OrderBy(w => w.Frequency); 

Para la parte distribuida, se puede consultar DryadLINQ: http://research.microsoft.com/en-us/projects/dryadlinq/default.aspx