Cómo configurar un clúster de bajo costo

Question

En mi casa tengo aproximadamente 10 computadoras, todos los diferentes procesadores y velocidades (todos compatibles con x86). Me gustaría agrupar estos. He visto openMosix, pero como detuvieron el desarrollo decidí no usarlo. Preferiría usar la versión más reciente o próxima a la última de una distribución convencional de Linux (Suse 11, Suse 10.3, Fedora 9, etc.).

¿Alguien conoce algunos sitios buenos (o libros) que expliquen cómo obtener un clúster en funcionamiento utilizando aplicaciones gratuitas de código abierto que son comunes en la mayoría de las distribuciones principales?

Me gustaría un clúster de equilibrio de carga para el software personalizado que estaría escribiendo. No puedo usar algo como Folding @ home porque necesito un contacto constante con cada parte de la aplicación. Por ejemplo, si estaba ejecutando una simulación y una computadora controlaba donde estaba cayendo la lluvia, y otra controlando lo que están haciendo mis herbívoros en la simulación.

Answer 1

Recientemente configuré un clúster OpenMPI usando Ubuntu. Algunos escritos existentes se encuentran en el https://wiki.ubuntu.com/MpichCluster.

Answer 2

Solo necesita un clúster si sabe lo que quiere hacer. Regrese con un requisito real, y alguien sugerirá una solución.

Answer 3

Su pregunta es demasiado vaga. ¿Qué aplicación de clúster quieres usar?

La forma más sencilla de configurar un "clúster" es instalar Folding @ Home en cada una de sus máquinas. Pero dudo que sea realmente lo que estás pidiendo.

He configurado clústers para la transcodificación de música/video usando scripts bash sencillos y claves compartidas ssh antes.

Administro clústeres de servidores de correo en el trabajo.

Answer 4

Creo que está buscando algo similar con openMosix, una especie de clúster general sobre el que se puede ejecutar cualquier aplicación distribuida entre los nodos. AFAIK no hay nada como eso disponible. Los clústeres basados ​​en MPI son lo más parecido que se puede obtener, pero creo que solo se pueden ejecutar aplicaciones MPI en ellos.

Answer 5

Linux Virtual Server

http://www.linuxvirtualserver.org/

Answer 6

Tome un vistazo a Rocks. Es una "distribución" completa de clústers basada en CentOS 5.1. Instala todo lo que necesita (libs, aplicaciones y herramientas) para ejecutar un clúster y es muy fácil de instalar y usar. Haces todos los ajustes y la configuración en el nodo maestro y te ayuda a poner en marcha todos tus otros nodos. ¡He estado instalando recientemente un clúster de más de 1200 nodos (más de 10.000 núcleos)! ¡Y no dudaría en instalarlo en un clúster de 4 nodos ya que la carga de trabajo para instalar el master no es válida!

Puede ejecutar aplicaciones escritas para libs de clúster como MPI o PVM o puede usar el sistema de cola (Sun Grid Engine) para distribuir cualquier tipo de trabajos. ¡O distcc para compilar el código de elección en todos los nodos!

Y es de código abierto, gratis, ¡todo lo que te gusta!

Answer 7

Uso pvm y funciona. Pero incluso con una buena configuración de ssh, lo que permite el inicio de sesión sin ingresar la contraseña en la máquina, puede ejecutar comandos de manera remota en sus diferentes nodos de computación.