memoria compartida, MPI y sistemas de colas

Question

Mi aplicación unix/windows C++ ya está paralelizada utilizando MPI: el trabajo se divide en N cpus y cada fragmento se ejecuta en paralelo, bastante eficiente, muy buena escala de velocidad, el trabajo se hace bien .

Pero algunos de los datos se repiten en cada proceso, y por razones técnicas, estos datos no se pueden dividir fácilmente en MPI (...). Por ejemplo:

• 5 Gb de datos estáticos, exactamente lo mismo cargado para cada proceso
• 4 Gb de datos que puede ser distribuido en MPI, se utilizan los más CPU, más pequeño este RAM por CPU es .

En un trabajo de 4 CPU, esto significaría al menos una carga de RAM de 20Gb, la mayor parte de la memoria 'desperdiciada', esto es horrible.

Estoy pensando en utilizar la memoria compartida para reducir la carga general, el trozo "estático" se cargará una sola vez por computadora.

Por lo tanto, la pregunta principal es:

• ¿Hay alguna manera estándar MPI para compartir la memoria en un nodo? Algún tipo de biblioteca disponible + gratuita?

  • De lo contrario, utilizaría boost.interprocess y usaría las llamadas MPI para distribuir los identificadores de memoria compartida local.
  • La memoria compartida sería leída por un "maestro local" en cada nodo, y compartida de solo lectura. No es necesario ningún tipo de semáforo/sincronización, porque no cambiará.

• ¿Hay algún problema de rendimiento o problemas particulares de los que tenga cuidado?

  • (No habrá ningún "cadenas" o estructuras de datos excesivamente extraños, todo puede reducirse a arreglos y apuntadores estructura)

• El trabajo se ejecuta en un PBS (o SGE) sistema de colas, en el caso de una salida impura del proceso, me pregunto si esas limpiarán la memoria compartida específica del nodo.

Answer 1

Un enfoque cada vez más común en el cómputo de alto rendimiento (HPC) es híbrido MPI/programas OpenMP. Es decir. tiene procesos N MPI y cada proceso MPI tiene M hilos.Este enfoque se correlaciona bien con clústeres que consisten en nodos multiprocesador de memoria compartida.

Cambiar a un esquema de paralelización jerárquica obviamente requiere algunos cambios más o menos invasivos, OTOH si se realiza correctamente puede aumentar el rendimiento y la escalabilidad del código, además de reducir el consumo de memoria para los datos replicados.

Dependiendo de la implementación de MPI, puede o no poder realizar llamadas MPI desde todos los hilos. Esto se especifica mediante los argumentos required y provided a la función MPI_Init_Thread() a la que debe llamar en lugar de MPI_Init(). Los valores posibles son

 
{ MPI_THREAD_SINGLE} 
    Only one thread will execute. 
{ MPI_THREAD_FUNNELED} 
    The process may be multi-threaded, but only the main thread will make MPI calls (all MPI calls are ``funneled'' to the main thread). 
{ MPI_THREAD_SERIALIZED} 
    The process may be multi-threaded, and multiple threads may make MPI calls, but only one at a time: MPI calls are not made concurrently from two distinct threads (all MPI calls are ``serialized''). 
{ MPI_THREAD_MULTIPLE} 
    Multiple threads may call MPI, with no restrictions. 

En mi experiencia, las implementaciones modernas como Open MPI MPI apoyan la MPI_THREAD_MULTIPLE más flexible. Si usa bibliotecas MPI antiguas o alguna arquitectura especializada, es posible que esté peor.

Por supuesto, no es necesario que enhebre con OpenMP, esa es la opción más popular en HPC. Puede usar, p. la biblioteca de hilos Boost, la biblioteca Intel TBB, o los subprocesos pthreads o windows para ese asunto.

Answer 2

No sé mucho sobre unix, y no sé qué es MPI. Pero en Windows, lo que está describiendo es una coincidencia exacta para un objeto de mapeo de archivos.

Si estos datos están incrustados en su .EXE o en un .DLL que se carga, se compartirá automáticamente entre todos los procesos. El desmontaje de su proceso, incluso como resultado de un bloqueo no causará fugas o bloqueos inéditos de sus datos. sin embargo, un .dll de 9 Gb suena un poco dudoso. Entonces esto probablemente no funcione para ti.

Sin embargo, puede poner sus datos en un archivo, luego CreateFileMapping y MapViewOfFile en él. La asignación puede ser de solo lectura, y puede asignar todo o parte del archivo a la memoria. Todos los procesos compartirán páginas asignadas al mismo objeto subyacente CreateFileMapping. es una buena práctica cerrar vistas de un mapa y cerrar identificadores, pero si no lo hace, el sistema operativo lo hará por usted en el momento del cierre.

Tenga en cuenta que a menos que esté ejecutando x64, no podrá asignar un archivo de 5 Gb en una sola vista (o incluso un archivo de 2 Gb, 1 Gb podría funcionar). Pero dado que estás hablando de que esto ya está funcionando, supongo que ya solo eres x64.

Answer 3

Si almacena sus datos estáticos en un archivo, puede usar mmap en Unix para obtener acceso aleatorio a los datos. Los datos serán localizados cuando usted necesite acceder a un bit de datos en particular. Todo lo que tendrá que hacer es superponer cualquier estructura binaria a los datos del archivo. Este es el equivalente de Unix de CreateFileMapping y MapViewOfFile mencionado anteriormente.

Incidentalmente, glibc usa mmap cuando uno llama a malloc para solicitar más de una página de datos.

Answer 4

No he trabajado con MPI, pero si es como otras bibliotecas de IPC que he visto que ocultan si otros hilos/procesos/lo que sea están en la misma máquina o en máquinas diferentes, entonces no podrá garantizar compartida memoria. Sí, podría manejar la memoria compartida entre dos nodos en la misma máquina, si esa máquina proporcionara memoria compartida. Pero tratar de compartir memoria entre nodos en diferentes máquinas sería muy difícil en el mejor de los casos, debido a los complejos problemas de coherencia planteados. Esperaría que simplemente no se implemente.

En la práctica, si necesita compartir memoria entre nodos, su mejor opción es hacer eso fuera de MPI. no creo que necesite utilizar la memoria compartida de estilo boost.interprocess, ya que no está describiendo una situación en la que los diferentes nodos realizan cambios precisos en la memoria compartida; es de solo lectura o particionado.

Las respuestas de John y deus cubren cómo mapear en un archivo, que es definitivamente lo que quieres hacer para los datos estáticos de 5 Gb (giga bit?). Los datos por CPU suenan como lo mismo, y solo necesita enviar un mensaje a cada nodo indicándole qué parte del archivo debe captar. El sistema operativo debería encargarse de asignar la memoria virtual a la memoria física de los archivos.

En cuanto a la limpieza ... Supongo que no hace ninguna limpieza de memoria compartida, pero los archivos mmap ed deben limpiarse ya que los archivos están cerrados (lo que debería liberar sus asignaciones de memoria) cuando se limpia un proceso . No tengo idea de qué advertencias CreateFileMapping etc. tienen.

La "memoria compartida" real (es decir, boost.interprocess) no se limpia cuando un proceso se apaga. Si es posible, recomiendo intentar matar un proceso y ver lo que queda atrás.

Answer 5

Tuve algunos proyectos con MPI en SHUT.

que sé, hay muchas maneras de distribuir un problema utilizando MPI, tal vez pueda encontrar otra solución que no requiere de memoria compartida, mi proyecto fue resolver una ecuación 7.000.000 y 7.000.000 variable de

si puede explicar su problema, trataría de ayudarlo

Answer 6

Con MPI-2 tiene RMA (acceso a memoria remota) a través de funciones como MPI_Put y MPI_Get. Si utiliza estas características, si su instalación MPI las admite, sin duda le ayudaría a reducir el consumo total de memoria de su programa. El costo se agrega complejidad en la codificación, pero eso es parte de la diversión de la programación paralela. Por otra parte, te mantiene en el dominio de MPI.

Answer 7

Me encontré con este problema en el pequeño cuando utilicé MPI hace unos años.

No estoy seguro de que la SGE comprenda los archivos mapeados en la memoria. Si está distribuyendo contra un clúster Beowulf, sospecho que tendrá problemas de coherencia. ¿Podría hablar un poco sobre su arquitectura multiprocesador?

Mi enfoque de borrador sería configurar una arquitectura donde cada parte de los datos es propiedad de una CPU definida. Habría dos hilos: un hilo sería un hablante bidireccional MPI y un hilo para calcular el resultado. Tenga en cuenta que MPI y los hilos no siempre funcionan bien juntos.