Compactación de corriente CUDA: entendiendo el concepto

Question

Estoy usando CUDA/Thrust/CUDPP. Según tengo entendido, en la compactación de Stream, ciertos elementos de una matriz se marcan como no válidos y luego se eliminan.

Ahora, ¿qué significa realmente "eliminación" aquí? Supongamos que la matriz original A y tiene longitud 6. Si 2 elementos no son válidos (por cualquier condición que pueden proporcionar), entonces

1. ¿El sistema de crear un nuevo matriz de tamaño 4 en GPU-memoria para almacenar la elementos válidos para obtener el resultado final?

2. O ¿elimina físicamente los elementos no válidos de la memoria y reduce el conjunto original A hasta el tamaño 4 manteniendo solo los elementos válidos?

En cualquier caso, ¿no significa que la asignación de memoria dinámica está ocurriendo debajo del capó? Pero había oído que la asignación de memoria dinámica no es posible en el mundo CUDA.

Answer 1

En primer lugar, la asignación de memoria dinámica es posible en CUDA en Compute Capability 2.0 y dispositivos superiores. La biblioteca de tiempo de ejecución de CUDA admite malloc/free y new/delete en las funciones __device__. Pero eso no está relacionado con la respuesta, realmente.

Por lo general, se proporciona una matriz de salida lo suficientemente grande (preasignada, a menudo del mismo tamaño que la matriz de entrada) y la salida se escribe en ella. No se requiere asignación dinámica, pero potencialmente hay desperdicio de almacenamiento. Esto es lo que hacen CUDPP y thrust. Una alternativa sería realizar un conteo de elementos válidos primero, luego asignar la memoria GPU de salida dinámicamente usando cudaMalloc llamado desde la CPU del host.