Solicitar nodos por números y sus nombres en SGE

Question

1. ¿Cómo solicitar el número de nodos (no los procs), mientras se envía el trabajo en SGE?

   por ej. En TORQUE, podemos especificar qsub -l nodes=3

2. ¿Cómo solicitar los nodos por sus nombres en SGE?

   por ej. En PAR, podemos hacer esto qsub -l nodes=abc+xyz+pqr, donde abc, xyz y pqr son los nombres de host

   para un solo nombre de host, qsub -l hostname=abc funciona. ¿Pero cómo delimito múltiples nombres de host en SGE?

Answer 1

Solicitar el número de nodos con Grid Engine se realiza de forma indirecta. Cuando desee enviar un trabajo paralelo a continuación, usted tiene que solicitar un entorno paralelo (man sge_pe) junto con la cantidad de ranuras (procesadores, etc.) como qsub -pe mytestpe 12 ...

Dependiendo del allocation_rule definido en el entorno paralelo (qconf -sp mytestpe) las ranuras se distribuyen en uno o más nodos . Si tiene una regla llamada de asignación fija donde solo agrega un número determinado como regla de asignación como 4 (4 ranuras por host ), es fácil. Si desea un host solo envíe con -pe mytestpe 4 si desea 10 nodos solo envíe con -pe mytestpe 40.

El nombre de nodo puede solicitarse al -l h=abc. Como los nombres de nodo son RESTRINGS (cadenas de expresiones regulares) en Grid Engine, puede crear una expresión regular para el filtro de host: qsub -l h="abc|xyz". También puede crear grupos de host (qconf -ahgrp) y solicitar denominados dominios de cola (qsub -q all.q@@mygroup).

Daniel

http://www.gridengine.eu

Answer 2

1. puede utilizar -tc para limitar el número de tareas simultáneas (es decir, número de ranuras que se utilizará para un trabajo de matriz). Utilizo esto cuando envío trabajos de matriz con 100 subtrabajos para limitar el impacto en nuestra cola, de forma predeterminada 10 trabajos simultáneos con -tc 10. A medida que cada trabajo finaliza, se enviará otro trabajo de matriz del grupo pendiente.

2. la única manera que he podido averiguar para hacer esto sería establecer conjuntos de cuota de recursos específicos (usando qconf -mrqs) especificando los grupos de host particulares que desea utilizar. Tendría que configurar todas las combinaciones que desee, primero. Sin embargo, no veo una razón real para especificar hosts específicos, a menos que estos hosts tengan recursos específicos que desee usar (en cuyo caso, configuraría recursos consumibles para ellos y aplicaría la cantidad apropiada de recursos a cada host). que puede suministrarlos, luego usar eso en lugar de especificar los hosts específicos para un trabajo en particular).