Condor, Sun Grid Engine, o alguna otra cosa?

Question

Estoy tratando de determinar si deberíamos probar Condor o Sun Grid Engine en el trabajo (o posiblemente alguna otra cosa).

A menudo tenemos muchas estaciones de trabajo WinXp sin usar. La esperanza es que podamos usar wake-on-LAN, ejecutar todos nuestros trabajos y luego cerrar automáticamente. Principalmente ejecutaremos simulaciones de Matlab, Java o Python para montecarlo o exploraciones de parámetros.

Con mi conocimiento limitado de Condor, parece que utilizar un universo vm podría ser una forma conveniente de cuidar las instantáneas sin tener que modificar el código existente.

¿Es SGE o algo mejor que el cóndor para este tipo de trabajo?

Answer 1

Comenzaría con Condor. Tiene un buen soporte para Windows, y las versiones más recientes tienen soporte integrado para enviar wake-on-lan de una manera muy configurable cuando los trabajos se pueden ejecutar en ciertas máquinas. También puede apagar las máquinas en función de las políticas definidas por el usuario.

Answer 2

Para hardware dedicado iría con Grid Engine.

Para buscar ciclos de reloj en máquinas que pueden estar en uso, iría con Condor.

Para el hardware al que tiene acceso dedicado por períodos fijos, como por ejemplo durante la noche y los fines de semana, probablemente aún seguiría con Condor, pero podría convencerme de usar Grid Engine.

Answer 3

Solo he probado Condor, y fue un dolor intentar configurarlo. Si necesita todos los ciclos de reloj que puede utilizar por completo, vaya con Cóndor.

Estoy a punto de probar SGE, y le diré cómo va. Sin embargo, en mi empresa, las personas han tenido experiencia en la configuración de SGE, por lo que probablemente diré que SGE es más fácil.

Answer 4

He tenido que elegir entre cóndor y SGE para un proyecto de cliente recientemente. Yo estaba a favor de SGE (porque estaba más familiarizado con ese ambiente), pero Cóndor ganado finalmente, porque:

• la infraestructura del cliente está orientado de Windows, y la solución SGE requiere una máquina Unix o Linux para el Gerente Central, + instalar MS Services para Unix en los hosts de computación
• El proceso de soporte e instalación de Condor en Windows era mucho más simple.

Sin embargo, no puede usar las características más interesantes de Condor en Windows: el punto de control no está disponible, ni los IO específicos de Condor. No estoy usando el universo de VM, así que no puedo comentar sobre ese aspecto.

Answer 5

SGE no realmente ventanas de soporte. Viene con all kinds of caveats and missing bits on Windows.

He estado ejecutando piscinas Condor durante muchos años y es una excelente configuración HTPC tanto para el robo de bicicletas como para el hardware dedicado y siempre activo en máquinas Linux y Windows. La reciente adición de su Rooster daemon le permite dejar las máquinas en reposo entre ciclos de trabajo y activarlas cuando aparece un nuevo trabajo en el grupo. También tienen una comunidad de apoyo activa y muy útil. Checkpointing es la única característica de Condor no disponible en Windows. Todo lo demás está ahí. Con la adición del Universo VM, el punto de control es cada vez menos útil. En serio: para usar puntos de control con éxito, debe poder volver a vincular toda la pila de códigos.Entonces, si está ejecutando trabajos de Matlab, incluso en Linux, el punto de control no será posible.

Si tiene preguntas específicas sobre la ejecución de Condor en Windows, me complacerá responderlas, comparta mis experiencias con esta. Dirijo Condor en 4 pools en todo el mundo con un total de aproximadamente 1500 máquinas dedicadas en todas las piscinas y aproximadamente 1000 máquinas de escritorio adicionales que están disponibles para los usuarios que se preocupan por donarlas.

Answer 6

SGE no existe ... es OGE, y es muy caro. Ve con Cóndor.

Answer 7

Después de que Oracle se hiciera cargo de SGE (Sun Grid Engine), está el proyecto Open Grid Scheduler que todavía ofrece Open-Source Grid Engine.

http://gridscheduler.sourceforge.net/