Pensé que entendía cómo funcionaba la ejecución de prueba paralela de MbUnit, pero el comportamiento que estoy viendo difiere bastante de mi expectativa de que sospecho que me estoy perdiendo algo.¿Cómo funcionan exactamente MbUnit [Parallelizable] y DegreeOfParallelism?
Tengo un conjunto de pruebas de IU que deseo ejecutar al mismo tiempo. Todas las pruebas están en el mismo ensamblaje, divididas en tres espacios de nombres diferentes. Todas las pruebas son completamente independientes entre sí, por lo que me gustaría que todas sean elegibles para la ejecución paralela.
A tal fin, pongo el siguiente en los AssemblyInfo.cs:
[assembly: DegreeOfParallelism(8)]
[assembly: Parallelizable(TestScope.All)]
Mi entendimiento es que esta combinación de atributos de ensamblado debe hacer todas las pruebas que deben ser considerados [Parallelizable], y que el corredor de prueba debería usar 8 hilos durante la ejecución. Mis pruebas individuales están marcadas con el atributo [Test], y nada más. Ninguno de ellos está basado en datos.
Sin embargo, lo que en realidad veo son como mucho 5-6 subprocesos en uso, lo que significa que mis ejecuciones de prueba tardan más de lo debido.
¿Echo de menos algo? ¿Debo hacer algo más para asegurarme de que mis 8 hilos estén siendo utilizados por el corredor?
N.B. El comportamiento es el mismo independientemente del corredor que use. La GUI, la línea de comandos y los corredores de TD.Net se comportan de la misma manera que la descrita anteriormente, lo que también me lleva a pensar que me he perdido algo.
EDIT: Como se señaló en los comentarios, estoy ejecutando v3.1 de MbUnit (actualización 2 compilación 397). El documentation sugiere que el atributo de nivel de ensamblaje [parallelizable] está disponible, pero también parece hacer referencia a v3.2 del marco a pesar de que aún no está disponible.
EDIT 2: Para aclarar aún más, la estructura de mi montaje es el siguiente:
assembly
- namespace
- fixture
- tests (each carrying only the [Test] attribute)
- fixture
- tests (each carrying only the [Test] attribute)
- namespace
- fixture
- tests (each carrying only the [Test] attribute)
- fixture
- tests (each carrying only the [Test] attribute)
- namespace
- fixture
- tests (each carrying only the [Test] attribute)
- fixture
- tests (each carrying only the [Test] attribute)
Datos 3: OK, ahora he notado que si yo sólo corro un accesorio en una vez, el número máximo de pruebas que se ejecutan simultáneamente es siempre 8. Tan pronto como selecciono varios aparatos, se reduce a 5 o 6. Si tomo el contenido de dos aparatos (actualmente contienen 12 pruebas cada uno) y los dejo caer en el mismo accesorio (para un total de 24 pruebas en ese accesorio) ese accesorio también ejecutará 8 pruebas al mismo tiempo.
Esto parece demostrar que no es un problema en las pruebas individuales, sino más bien en cómo los atributos de nivel de ensamblaje se filtran hacia el accesorio, o cómo el corredor de prueba consume esos atributos.
Además, también observé (cuando ejecuté dos dispositivos) que una vez que uno de los dos dispositivos se había ejecutado en su totalidad, el corredor comienza a ejecutar más pruebas al mismo tiempo cuando vuelve a ejecutar solo un dispositivo. En este momento, el primer dispositivo se ejecuta cuando faltan 7 pruebas para el segundo dispositivo. Tan pronto como eso suceda, el número de pruebas que se ejecutan simultáneamente salta desde el 5 o 6 anterior al máximo disponible de 7.
Creo que el atributo Parallelizable en el nivel de ensamblaje ya está implementado a partir de 3.1 –
3.1 es la versión que estoy usando.La documentación (http://www.gallio.org/api/index.aspx) sugiere que se puede hacer en el nivel de ensamblaje. Lo único que noto es que la documentación menciona la versión 3.2 no 3.1. Pero 3.2 aún no ha terminado por lo que puedo ver. – BenA
Por lo que puedo decir, estás usando la API paralelamente correcta. Tenga en cuenta que DegreeOfParallelism solo especifica el número máximo de subprocesos para usar. Existen varias razones por las cuales las pruebas no se pueden ejecutar en paralelo, como la estructura de anidación de prueba, el pedido de prueba y las dependencias de prueba. Algunas construcciones como [Repetir] no están paralelizadas por [Paralelamente]. Del mismo modo, las filas individuales de pruebas basadas en datos no están paralelizadas entre sí. (¡Sería una buena característica para agregar!) Si establece [DegreeOfParallelism (32)], ¿verá que se ejecutan más pruebas simultáneas en promedio? –