¿Cómo distribuir y ejecutar pruebas unitarias específicas de la plataforma?

Question

Tenemos un proyecto de python que queremos comenzar a probar usando buildbot. Sus pruebas unitarias incluyen pruebas que solo deberían funcionar en algunas plataformas. Por lo tanto, tenemos pruebas que deben pasar en todas las plataformas, pruebas que solo deben ejecutarse en una plataforma específica, pruebas que deben pasar en las plataformas A, B, C y pruebas que pasan en B y D.

¿Qué es? la mejor manera de hacer esto? Las suites simples serían una molestia, ya que, como se describe, cada prueba puede tener una lista diferente de plataformas de destino. Pensé en agregar decoradores "@run_on" y "@ignore_on" que coincidirían con plataformas para probar métodos. ¿Hay algo mejor?

Answer 1

Hemos decidido ir con decoradores que, utilizando el módulo de plataforma y otros, comprobar si las pruebas deben ser ejecutados , y si no, simplemente dejarlo pasar (aunque vimos que python2.7 ya tiene en su troncal una excepción SkipTest que podría surgir en tales casos, para ignorar la prueba).

Answer 2

Suena como un lugar útil para un cargador de prueba.

Salida http://docs.python.org/library/unittest.html#unittest.TestLoader.loadTestsFromName

Si proporciona algunas convenciones de nombres adecuados es probable que pueda crear familias basadas en sus convenciones de nomenclatura de prueba.

Si tengo la prueba A que se ejecuta en AIX, Linux (todo) y 32 bit Windows, prueba B que se ejecuta en Windows 64, Linux 64 y Solaris, y prueba C que se ejecuta en todo menos en HPUX y prueba D eso funciona con todo ... ¿Qué convención de nombres posible existe para esto?

class TestA_AIX_Linux2_Win32(unittest.TestCase): 

class TestB_Win64_Linux64_Solaris(unittest.TestCase): 

class TestC_AIX_Linux2_Win32_Win64_Linux64_Solaris(unittest.TestCase): 

class TestD_All(unittest.TestCase): 

La parte difícil es "no HP/UX". Evitar la lógica negativa simplifica tu vida. En este caso, simplemente enumera todos los SO que no son HP/UX. La lista es bastante corta y crece lentamente.

Las pruebas "Todas" son simplemente una búsqueda de texto separada que se fusiona con la lista de pruebas de la plataforma actual para crear un conjunto completo.

Usted podría intentar algo así como

class TextC_XHPUX(unittest.TestCase): 

Su regla de texto coincidente es normalmente "_someOSName"; sus excepciones serían un extraño filtro de texto para jugar con el nombre "_X".

"No podemos tener una lista positiva de SO. ¿Qué pasa si agregamos un nuevo sistema operativo? ¿Tenemos que cambiar el nombre de cada prueba para incluirlo explícitamente?" Sí. El nuevo mercado de sistemas operativos evoluciona lentamente, no es tan doloroso de administrar.

La alternativa es incluir información dentro de cada clase (es decir, una función de nivel de clase) o un decorador y usar un cargador de clases personalizado que evalúe la función de nivel de clase.

Answer 3

En un par de ocasiones he utilizado este enfoque muy simple en módulos de prueba:

import sys 
import unittest 

if 'win' in sys.platform: 
    class TestIt(unittest.TestCase): 
     ... 

if 'linux' in sys.platform: 
    class TestIt(unittest.TestCase): 
     ...