La mejor manera de medir el tiempo de ejecución en las pruebas de regresión automática

Question

Tengo un código que quiero medir la velocidad de mientras se ejecuta de forma continua en las pruebas de regresión automática. El propósito de esto sería alertarme sobre los cambios realizados en el código que han tenido un impacto negativo en el rendimiento.

En pseudo-código, quiero algo como esto:

cpuTimer.start 
runTest 
cpuTimer.stop 

diff = cpuTimer.getDuration 

if diff > prevDiff // Perhaps to within a tolerance 
    failTest 

estoy mirando ThreadMXBean # getCurrentThreadCpuTime() para esto, pero el problema principal es que las pruebas automatizadas se llevará a cabo en una amplia rango de diferentes PC de desarrollador, y se procesará automáticamente para probar servidores con una gama de hardware y capacidades diferentes.

¿Funcionará esto o los números saldrán mal?

¿Cómo se debe resolver este problema? ¿Hay una mejor manera? ¿Hay una herramienta estándar para este tipo de alcaparras?

Answer 1

Un enfoque sería analizar los archivos xml estándar que se generan desde la ejecución de junit tanto en maven como en ant. Estos contienen todos los datos que necesita. Aunque hay herramientas para generar informes basados ​​en estos, no conozco ningún agregador/observador.

Si los pone en una tabla de base de datos con campos hostname, testname, executiontime y buildNumber, podrá hacer la mayoría de las cosas que necesite.

Answer 2

Puede tratar de mirar Perf4J. No lo he usado todavía, pero está en mi lista de cosas para investigar.

Desde su página web:

Perf4J es System.currentTimeMillis() como log4j es System.out.println()

El Developer Guide es una buena introducción.