CUDA: ¿Por qué los operadores bit a bit son a veces más rápidos que los operadores lógicos?

Question

Cuando estoy abajo a exprimir la última gota de rendimiento de un núcleo, por lo general encuentran que la sustitución de los operadores lógicos (&& y ||) con operadores de bits (& y |) hace que el núcleo de un poco más rápido . Esto se observó al observar el resumen de tiempo del kernel en CUDA Visual Profiler.

Entonces, ¿por qué los operadores bit a bit son más rápidos que que los operadores lógicos en CUDA? Debo admitir que son no siempre más rápido, pero muchas veces lo son. Me pregunto qué magia puede dar esta aceleración.

Descargo de responsabilidad: Soy consciente de que los operadores lógicos de cortocircuito y bit a bit no lo hacen. Soy muy consciente de cómo estos operadores pueden ser mal utilizados, lo que da como resultado un código incorrecto. Utilizo este reemplazo con cuidado solo cuando la lógica resultante sigue siendo la misma, hay una aceleración y la aceleración así obtenida me importa :-)

Answer 1

Los operadores lógicos a menudo dan como resultado ramas, particularmente cuando se deben observar las reglas de la evaluación de cortocircuitos. Para las CPU normales esto puede significar mal predicción de derivaciones y para CUDA puede significar divergencia de distorsión. Las operaciones a nivel de bit no requieren una evaluación de cortocircuito, por lo que el flujo de código es lineal (es decir, sin derivación).

Answer 2

Las operaciones de bit a bit se pueden llevar a cabo en los registros a nivel de hardware. Las operaciones de registro son las más rápidas, esto es especialmente cierto cuando los datos pueden caber en el registro. Las operaciones lógicas implican una evaluación de expresión que puede no estar vinculada al registro. Normalmente, &, |, ^, >> ... son algunas de las operaciones más rápidas y se utilizan ampliamente en lógica de alto rendimiento.

Answer 3

A & & B:

if (!A) { 
    return 0; 
} 
if (!B) { 
    return 0; 
} 
return 1; 

A & B:

return A & B; 

Estos son la semántica teniendo en cuenta que la evaluación de A y B puede tener efectos secundarios (que pueden ser funciones que alteran el estado del sistema cuando se evalúa).

Hay muchas maneras en que el compilador puede optimizar el caso A && B, dependiendo de los tipos de A y B y el contexto.