¿Es el apio tan eficiente en un sistema local como el multiprocesamiento python?

Question

Tengo problemas para decidir qué usar Python multiprocesamiento o apio o pp para mi aplicación.

Mi aplicación es muy pesada en CPU pero actualmente solo usa una CPU, así que necesito extenderla a través de todas las CPU disponibles (lo que me hizo mirar la biblioteca de multiprocesamiento de python) pero leí que esta biblioteca no escala a otras máquinas si es necesario. En este momento no estoy seguro de si necesitaré más de un servidor para ejecutar mi código, pero estoy pensando en ejecutar apio localmente y luego escalar solo requeriría agregar nuevos servidores en lugar de refactorizar el código (como lo haría si utilizara multiprocesamiento).

Mi pregunta: ¿es esta lógica correcta? y ¿hay algún resultado negativo (rendimiento) con el uso local de apio (si resulta que un solo servidor con múltiples núcleos puede completar mi tarea)? ¿o se recomienda más usar multiprocesamiento y crecer en algo más adelante?

Gracias!

p.s. esto es para un proyecto de aprendizaje personal, pero quizás algún día me gustaría trabajar como desarrollador en una empresa y quiero aprender cómo lo hacen los profesionales.

Answer 1

Nunca he usado Apio, pero he usado multiprocesamiento.

Parece que el apio tiene varias formas de pasar mensajes (tareas), incluidas las formas en que debería poder ejecutar los trabajadores en diferentes máquinas. Por lo tanto, un inconveniente podría ser que el envío de mensajes podría ser más lento que con el multiprocesamiento, pero por otro lado podría distribuir la carga a otras máquinas.

Tiene razón de que el multiprocesamiento solo se puede ejecutar en una máquina. Pero, por otro lado, la comunicación entre los procesos puede ser muy rápida, por ejemplo, al usar memoria compartida. Además, si necesita procesar grandes cantidades de datos, puede leer y escribir datos fácilmente desde y hacia el disco local, y simplemente pasar nombres de archivo entre los procesos.

No sé qué tan bien trataría Aplery las fallas de tareas. Por ejemplo, la tarea puede que nunca termine de ejecutarse, o puede bloquearse, o puede querer tener la capacidad de matar una tarea si no terminó en un cierto límite de tiempo. No sé qué tan difícil sería agregar soporte para eso si no está allí.

multiprocesamiento no viene con tolerancia a fallas fuera de la caja, pero puede hacerlo usted mismo sin demasiados problemas.

Answer 2

Acabo de terminar una prueba para decidir cuánto apio agrega como sobrecarga en multiprocessing.Pool y matrices compartidas. La prueba ejecuta el filtro wiener en una matriz uint16 (292, 353, 1652). Ambas versiones usan el mismo agrupamiento (más o menos: divida las 292.353 dimensiones por la raíz cuadrada de la cantidad de CPU disponibles). Se probaron dos versiones de apio: una solución envía datos encurtidos, la otra abre el archivo de datos subyacente en cada trabajador.

Resultado: en mi CPU de 16 núcleos i7, el apio toma alrededor de 16 s, multiprocessing.Pool con matrices compartidas de aproximadamente 15 s. Encuentro esta diferencia sorprendentemente pequeña.

Aumentar la granularidad aumenta la diferencia obviamente (el apio tiene que pasar más mensajes): el apio tarda 15 s, multiprocessing.Pool lleva 12 s.

Tenga en cuenta que los trabajadores de apio ya se estaban ejecutando en el host, mientras que los trabajadores de la agrupación se bifurcan en cada ejecución.No estoy seguro de cómo podría comenzar multiprocesamiento piscina al comenzar desde el paso por las matrices compartidas en el inicializador:

with closing(Pool(processes=mp.cpu_count(), initializer=poolinit_gen, initargs=(sourcearrays, resarrays))) as p: 

y sólo los resarrays están protegidos por bloqueo.