Haciendo procesamiento paralelo en bash?

Question

Tengo miles de archivos PNG que me gusta hacer más pequeños con pngcrush. Tengo un trabajo simple find .. -exec, pero es secuencial. Mi máquina tiene bastantes recursos y yo haría esto en paralelo.

La operación a realizar en cada PNG es:

pngcrush input output && mv output input 

Lo ideal sería que se puede especificar el número máximo de operaciones en paralelo.

¿Hay una manera de hacer esto con bash y/u otros ayudantes de concha? Soy Ubuntu o Debian.

Answer 1

Puede utilizar xargs ejecutar varios procesos en paralelo:

find /path -print0 | xargs -0 -n 1 -P <nr_procs> sh -c 'pngcrush $1 temp.$$ && mv temp.$$ $1' sh 

xargs leerá la lista de los archivos producidos por find (separados por 0 personajes (-0)) y ejecute el comando proporcionado (sh -c '...' sh) con un parámetro a la vez (-n 1). xargs ejecutará <nr_procs> (-P <nr_procs>) en paralelo.

Answer 2

Se puede utilizar a medida find/xargs soluciones (véase la respuesta Bart Sas'), pero cuando las cosas se hacen más complejos que tiene -al menos- dos potentes opciones:

1. parallel (de paquete) moreutils
2. GNU parallel

Answer 3

Con GNU paralelo http://www.gnu.org/software/parallel/ se puede hacer como:

find /path -print0 | parallel -0 pngcrush {} {.}.temp '&&' mv {.}.temp {} 

Más información:

• Mira el vídeo de introducción para una introducción rápida: https://www.youtube.com/playlist?list=PL284C9FF2488BC6D1
• Paseo por el tutorial (parallel_tutorial hombre). Tu línea de comando te amará por eso.