Orden de ejecución de pruebas en TestNG

Question

¿Cómo personalizar el orden de ejecución de pruebas en TestNG?

Por ejemplo:

public class Test1 { 
    @Test 
    public void test1() { 
     System.out.println("test1"); 
    } 

    @Test 
    public void test2() { 
     System.out.println("test2"); 
    } 

    @Test 
    public void test3() { 
     System.out.println("test3"); 
    } 
} 

En la suite anteriormente, el orden de ejecución de las pruebas es arbitraria. Para una ejecución la salida puede ser:

test1 
test3 
test2 

¿Cómo ejecutar las pruebas en el orden en que han sido escritas?

Answer 1

Pruebas como pruebas unitarias? ¿Para qué? Las pruebas TIENEN que ser independientes, de lo contrario ... no se puede ejecutar una prueba individualmente. Si son independientes, ¿por qué incluso interferir? Además, ¿qué es un "pedido" si los ejecuta en múltiples hilos en múltiples núcleos?

Answer 2

Existen formas de ejecutar pruebas en un orden determinado. Normalmente, las pruebas deben ser repetibles e independientes para garantizar que solo prueba la funcionalidad deseada y no depende de los efectos secundarios del código fuera de lo que se está probando.

Por lo tanto, para responder a su pregunta, deberá proporcionar más información, como POR QUÉ, es importante ejecutar las pruebas en un orden específico.

Answer 3

En TestNG, se utiliza dependsOnMethods y/o dependsOnGroups:

@Test(groups = "a") 
public void f1() {} 

@Test(groups = "a") 
public void f2() {} 

@Test(dependsOnGroups = "a") 
public void g() {} 

En este caso, g() sólo se ejecutará después de f1() y f2() han completado y tuvo éxito.

Usted encontrará una gran cantidad de ejemplos en la documentación: http://testng.org/doc/documentation-main.html#test-groups

Answer 4

Si entiendo bien su pregunta en la que desea ejecutar pruebas en un orden específico, TestNG IMethodInterceptor se puede utilizar. Eche un vistazo al http://beust.com/weblog2/archives/000479.html sobre cómo aprovecharlos.

Si desea ejecutar algún preinitialization, echar un vistazo a IHookable http://testng.org/javadoc/org/testng/IHookable.html e hilo asociado http://groups.google.com/group/testng-users/browse_thread/thread/42596505990e8484/3923db2f127a9a9c?lnk=gst&q=IHookable#3923db2f127a9a9c

Answer 5

Mediante el uso de paramenter prioridad para @test podemos controlar el orden de ejecución de la prueba.

Answer 6

@Test(dependsOnMethods="someBloodyMethod") 

Answer 7

Para hacer frente a escenario específico de que se trate:

@Test 
public void Test1() { 

} 

@Test (dependsOnMethods={"Test1"}) 
public void Test2() { 

} 

@Test (dependsOnMethods={"Test2"}) 
public void Test3() { 

} 

Answer 8

Esto funcionará.

@Test(priority=1) 
public void Test1() { 

} 

@Test(priority=2) 
public void Test2() { 

} 

@Test(priority=3) 
public void Test3() { 

} 

priority alienta orden de ejecución, pero no garantiza el nivel de prioridad anterior ha completado. test3 podría comenzar antes de que test2 finalice. Si se necesita una garantía, entonces declare una dependencia.

A diferencia de las soluciones que declaran dependencias, las pruebas que usan priority se ejecutarán incluso si falla una prueba. Este problema con las dependencias se puede solucionar con @Test(...alwaysRun = true...) según documentation.

Answer 9

que llevan a cuestas fuera de la respuesta de user1927494, En caso de que desee ejecutar una sola prueba antes de que todos los demás, se puede hacer esto:

@Test() 
public void testOrderDoesntMatter_1() { 
} 

@Test(priority=-1) 
public void testToRunFirst() { 
} 

@Test() 
public void testOrderDoesntMatter_2() { 
} 

Answer 10

Si no desea utilizar la opción @Test(priority =) en TestNG , puede utilizar la biblioteca javaassist y TestNG's IMethodInterceptor para priorizar las pruebas de acuerdo con el orden en que se definen los métodos de prueba en la clase de prueba. Esto se basa en la solución provista here.

Añadir este oyente a su clase de prueba:

package cs.jacob.listeners; 

import java.util.Arrays; 
import java.util.Comparator; 
import java.util.List; 

import javassist.ClassPool; 
import javassist.CtClass; 
import javassist.CtMethod; 
import javassist.NotFoundException; 

import org.testng.IMethodInstance; 
import org.testng.IMethodInterceptor; 
import org.testng.ITestContext; 

public class PriorityInterceptor implements IMethodInterceptor { 
    public List<IMethodInstance> intercept(List<IMethodInstance> methods, ITestContext context) { 

    Comparator<IMethodInstance> comparator = new Comparator<IMethodInstance>() { 
     private int getLineNo(IMethodInstance mi) { 
     int result = 0; 

     String methodName = mi.getMethod().getConstructorOrMethod().getMethod().getName(); 
     String className = mi.getMethod().getConstructorOrMethod().getDeclaringClass().getCanonicalName(); 
     ClassPool pool = ClassPool.getDefault(); 

     try { 
      CtClass cc  = pool.get(className); 
      CtMethod ctMethod = cc.getDeclaredMethod(methodName); 
      result   = ctMethod.getMethodInfo().getLineNumber(0); 
     } catch (NotFoundException e) { 
      e.printStackTrace(); 
     } 

     return result; 
     } 

     public int compare(IMethodInstance m1, IMethodInstance m2) { 
     return getLineNo(m1) - getLineNo(m2); 
     } 
    }; 

    IMethodInstance[] array = methods.toArray(new IMethodInstance[methods.size()]); 
    Arrays.sort(array, comparator); 
    return Arrays.asList(array); 
    } 
} 

Esto básicamente se entera de los números de línea de los métodos y los ordena por orden ascendente de su número de línea, es decir, el orden en el que se definen en el clase.

Answer 11

especificando los métodos de prueba para ser ejecutado en testng.xml podemos ejecutar los casos de prueba en el orden deseado

<suite> 
 
<test name="selenium1"> 
 
    \t \t <classes> 
 
\t \t \t <class name="com.test.SeleniumTest" > 
 
\t \t \t  <methods><include name="methodB"></include> 
 
\t \t \t   <include name="methodA"></include> 
 
\t \t \t  </methods>  
 
\t \t \t </class> 
 
\t \t </classes> 
 
    
 
\t </test> 
 
</suite>

Answer 12

El orden de los métodos en el archivo de clase es impredecible, por lo que necesita usar dependencias o incluir sus métodos explícitamente en XML.

De forma predeterminada, TestNG ejecutará las pruebas en el orden en que se encuentran en el archivo XML. Si desea que las clases y los métodos enumerados en este archivo para ejecutar en un orden unpredictible, establecer el orden de preservar-atributo en false

Answer 13

Utilice esta:

public class TestNG 
{ 
     @BeforeTest 
     public void setUp() 
     { 
        /*--Initialize broowsers--*/ 

     } 

     @Test(priority=0) 
     public void Login() 
     { 

     } 

     @Test(priority=2) 
     public void Logout() 
     { 

     } 

     @AfterTest 
     public void tearDown() 
     { 
       //--Close driver--// 

     } 

} 

Por lo general TestNG proporciona número de anotaciones, podemos usar @BeforeSuite, @BeforeTest, @BeforeClass para inicializar navegadores/configuración.

Podemos asignar prioridad si ha escrito el número de casos de prueba en el script y quiere ejecutar de acuerdo con la prioridad asignada a continuación, utilizar: @Test(priority=0) partir de 0,1,2,3 ....

Mientras tanto podemos agrupar el número de casos de prueba y ejecutarlo agrupando. para eso vamos a usar @Test(Groups='Regression')

Al final, al cerrar los navegadores, podemos usar las anotaciones @AfterTest, @AfterSuite, @AfterClass.

Answer 14

He enfrentado el mismo problema, la posible razón se debe a la ejecución paralela de testng y la solución es agregar la opción de Prioridad o simplemente actualizar preserve-order = "true" en tu testng.xml.

<test name="Firefox Test" preserve-order="true"> 

Answer 15

En caso de que ocurriera utilizar material adicional como dependsOnMethods, es posible que desee definir todo el flujo @test en su archivo testng.xml. AFAIK, la orden definida en el archivo XML de su suite (testng.xml) anulará todas las demás estrategias de ordenamiento.