¿Cómo puedo ejecutar múltiples trabajos desde una gran cola al mismo tiempo en Perl?

Question

Me gustaría programar límites de trabajo para el LSF commandbsub en mi script Perl que inicia trabajos LSF bajo el capó. Si tengo algo así como 2000 puestos de trabajo, me gustaría ejecutar un máximo de 20 trabajos en un momento dado. He visto guiones que inician 20 trabajos y luego espero a que todos terminen antes de lanzar otro 20.

Answer 1

Varios módulos Perl existentes, incluidos Parallel::ForkManager y Forks::Super (de los cuales soy el autor) ofrecen esta funcionalidad. También hay un módulo LSF::JobManager del que no conozco nada más.

---

paralelo :: ForkManager esqueleto

use Parallel::ForkManager; 
$pm = new Parallel::ForkManager(20); 
foreach $job (@jobsToRun) { 
    $pm->start and next; 
    system("bsub -K $job"); # bsub -K job to wait until job finishes, right? 
    $pm->finish; 
} 

---

Y en Forks :: Súper

use Forks::Super MAX_PROC => 20; 
foreach $job (@jobsToRun) { 
    fork { cmd => "bsub -K $job" }; 
} 

---