¿Cómo se muestra un motivo de una propiedad de prueba fallida con quickcheck?

Question

¿Cuál es la mejor práctica para mostrar los motivos de una prueba de propiedad fallida cuando se prueba a través de QuickCheck?

Considérese, por ejemplo:

prop a b = res /= [] 
    where 
     (res, reason) = checkCode a b 

A continuación, la sesión podría ser así:

> quickCheck prop 
Falsifiable, after 48 tests: 
42 
23 

Pero para depurar que sería muy conveniente para mostrar el motivo del error como parte del falsifable QUICKCHECK informe.

he cortado de esta manera:

prop a b = if res /= [] then traceShow reason False else True 
    where 
     (res, reason) = checkCode a b 

es que hay una mejor o más quickcheckish manera mejor/para hacerlo?

Answer 1

Supongo que su variable de "razón" contiene algún tipo de datos específicos de la prueba sobre lo que salió mal. En su lugar, puede devolver un "Resultado", que contiene condiciones de éxito/error/inválido y una cadena que explica qué salió mal. Propiedades que devuelven Los resultados son manejados por QuickCheck exactamente de la misma manera que las propiedades que devuelven Bool.

(editar) De esta manera:

module QtTest where 

import Test.QuickCheck 
import Test.QuickCheck.Property as P 


-- Always return success 
prop_one :: Integer -> P.Result 
prop_one _ = MkResult (Just True) True "always succeeds" False [] [] 


-- Always return failure 
prop_two :: Integer -> P.Result 
prop_two n = MkResult (Just False) True ("always fails: n = " ++ show n) False [] [] 

en cuenta que es del tipo "Resultado" se define en Test.QuickCheck.Property desea.

También hay algunos combinadores definidos en Test.QuickCheck.Property que le ayudan a componer el resultado en lugar de llamar directamente al constructor, como

prop_three :: Integer -> Property 
prop_three n = printTestCase ("always fails: n = " ++ show n) False 

supongo que sería mejor estilo para usar esos.

Answer 2

Porque QuickCheck le da las entradas a la función, y debido a que el código bajo prueba es puro (es, ¿verdad?), Puede simplemente alimentar esas entradas a la función y obtener el resultado. Esto es más flexible, porque con esas entradas también puede probar repetidamente con ajustes a la función original hasta que sea correcta.