Eliminar duplicados en el flujo de datos SSIS

Question

Estoy trabajando en una tarea de flujo de datos SSIS.

La tabla fuente es de una base de datos antigua que está desnormalizada.

La tabla de destino está normalizada.

SSIS falla porque la transferencia de datos no es posible debido a duplicados (duplicados en la columna de clave principal).

Sería bueno si el SSIS puede verificar la disponibilidad del registro actual (al marcar la clave) y si existe, puede ignorar presionarlo. Luego puede continuar con el siguiente registro.

¿Hay alguna manera de manejar este escenario?

Answer 1

Suponiendo que su tabla de destino es un subconjunto de su tabla de origen, debería poder usar Sort Transformation para obtener solo las columnas que necesita para su tabla de destino y luego marcar "Eliminar filas con valores de ordenamiento duplicados" básicamente te da una lista distinta de registros basados ​​en las columnas que seleccionaste.

Luego, simplemente envíe los resultados del análisis a su destino, y debería estar listo para comenzar.