¿Cómo debo realizar pruebas automáticas de SQL ETL Scripts & SPROC?

Question

Tenemos varios paquetes DTSX que extraen-transfieren-cargan datos de varias bases de datos heredadas heredadas -> SQL Server 2k8 R2. (A través de ODBC)

La mayoría de nuestros scripts T-SQL de proceso ETL

Los datos legado es un mal estructurado desastre & más a menudo, los tweaks & cambios que hacemos a nuestros scripts ETL son para hacer frente a este mal formado datos.

Lo que nos gustaría hacer es implementar algún proceso para automatizar las pruebas de estos SPROCS/Scripts que realizan estas transformaciones.

Lo que hemos llegado con nosotros mismos es:

• Pasar un buen conocido de entrada de fuente de datos (alojado en una base de datos generalizada local)
• ejecutar paquetes del DTSX para generar la salida
• Tener algunos esperaban & salida pre-creada en otro lugar dentro de SQL Server.
• Escribe nuestros propios scripts de verificación para comparar los esperados con los reales.

Me pregunto si hay otras aplicaciones de procesos/sistemas/pruebas de db también deberíamos considerar.

Answer 1

Eche un vistazo a tSQLt - the Database Unit Testing Framework for SQL Server. Hace que la escritura de pruebas sólidas sea bastante fácil.

No permite (todavía) probar las secuencias de comandos, pero podría incluirlas en los procedimientos almacenados.

Answer 2

Las bases de datos heredadas siempre son desafiantes.

Le aconsejo que eche un vistazo a esta publicación: http://quality-gates.com/?p=1284, donde cubro cuáles son las pruebas básicas que se deben realizar para validar el proceso ETL en las diferentes capas: Operational, Datawarehouse y más.

Elegimos utilizar Quality Gates en nuestro proyecto. Como no forma parte del ETL, hace que la validación sea clara y objetiva. me parece que es lo que estás buscando.