¿Hay alguna solución simple para distribuir trabajo computacional en .NET?

Question

Digamos que tengo algunas computadoras en casa.

También vamos a decir que tengo algún algoritmo Quiero correr, que por lo general toma mucho tiempo para resolver. Se puede dividir en cuántas partes que quiero, así que podía correr parte de ella en una sola máquina, parte de ella en otro, etc, y al final me había sólo tiene que combinar los resultados en uno de los ordenadores.

Mi pregunta es si hay alguna manera fácil y directa en .NET de hacer uso de varios ordenadores para hacer este tipo de cálculos. Si es así, ¿cómo se llama? No me refiero a tener que codificar todo el código IPC solo, algo similar a las tareas de BCL, pero eso me permitiría enviar "trabajo" a otras computadoras, a través de una IP o algo así.

Gracias!

Answer 1

En computación distribuida general, existen dos modelos: El paso de mensajes y memoria compartida

Se Parece que estás interesado en Messa Pasar, porque generalmente involucra múltiples computadoras que se comunican a través de la red. La memoria compartida usa el sistema de memoria para comunicarse entre procesos. A partir de mi experiencia (limitada) en informática distribuida, casi todos los que usan Message Passing como modelo se mudaron a MPI. MPI es un marco que se ha implementado en muchos idiomas. Hay algunas implementaciones .NET MPI bastante fuertes por ahí.

Todo este puesto supone que estás haciendo "computación distribuida" en un escenario de HPC. En tal escenario, tendría muchas computadoras poderosas, conectadas a través de una red de interconexión, en una sala de servidores (o similar). Si está buscando algún tipo de computación distribuida entre máquinas físicas separadas (como folding @ home), necesitará encontrar algo más o implementar su propia solución. Por lo tanto, como menciona Leniel Macaferi en su respuesta, deberá asegurarse de que su centro de datos ejecute alguna versión del Servidor HPC de Microsoft. La mayoría de los clústeres de HPC tienen cierto sabor de Linux, lo que obviamente le impedirá implementar una solución basada en .NET.

Answer 2

Eso es un complemento perfecto para Microsoft HPC Server distribución, ya que está sintonizado especialmente para hacer frente a este tipo de situación.

No sé nada de lo que puede hacerlo puramente basado en .NET. Eso es posible, por supuesto, pero requeriría algo de codificación.

Aunque no es lo que quieres, te recomiendo que leas sobre el .NET Task Parallel Library que te ayuda a dividir tu carga de trabajo automáticamente entre las CPU (núcleos) disponibles de la computadora de forma rápida y sin problemas.

Artículos de interés relacionados con la computación distribuida:

C# Remoting and Distributed Computing

Legion: Build your own virtual super computer with Silverlight

Windows Communication Foundation (WCF)

Answer 3

Microsoft tiene en sus laboratorios de investigación un Mapa que reduce la implementación de Linq llamada Dryad Linq (actualmente la versión beta solo está disponible en servidores HPC) pero esto se ve muy interesante y hace lo que está buscando.

Answer 4

Microsoft HPC Server requiere un sistema operativo de servidor. Por lo que se dice, no estás ejecutando un sistema operativo de servidor. Suponiendo que está ejecutando una versión de escritorio de Windows con .NET 4.0 instalado, puede probar una de estas opciones:

1. Puede dividir manualmente el trabajo y ejecutar las piezas manualmente.

2. Puede usar algo MPAPI y codificar sus propios nodos y trabajadores.

3. Puede escribir una aplicación de consola y usar DuoVia.MpiVisor para distribuir y ejecutar en sus estaciones de trabajo. (La revelación completa: yo soy el autor de MpiVisor)

Haciendo computación distribuida de una manera informal y sin mucho alboroto no es tan fácil como una cosa fuerzas, pero ninguna de estas dos opciones debe llegar hasta allí.