salto sobre/ignoran las filas duplicadas en el inserto

Question

Tengo las siguientes tablas:

DataValue

DateStamp ItemId Value 
---------- ------ ----- 
2012-05-22 1  6541 
2012-05-22 2  12321 
2012-05-21 3  32 

tmp_holding_DataValue

DateStamp ItemId Value 
---------- ------ ----- 
2012-05-22 1  6541 
2012-05-22 4  87 
2012-05-21 5  234 

DateStamp y ItemId son las columnas de clave principal.

que estoy haciendo un inserto que se ejecuta periódicamente durante todo el día (en un procedimiento almacenado):

insert into DataValue(DateStamp, ItemId, Value) 
select DateStamp, ItemId, Value from tmp_holding_DataValue; 

Esto mueve los datos desde la mesa de recogida (tmp_holding_DataValue) a través en la tabla de datos principal (DataValue). La mesa de espera se trunca.

El problema es que, como en el ejemplo, la tabla de espera podría contener elementos que ya existen en la tabla principal. Como la clave no permitirá valores duplicados, el procedimiento fallará.

Una opción sería poner una cláusula WHERE en el proceso de inserción, pero la tabla de datos principal tiene 10 millones + filas, y esto podría llevar mucho tiempo.

¿Hay alguna otra manera de obtener el procedimiento para omitir/ignorar los duplicados mientras se intenta insertar?

Answer 1

INSERT dbo.DataValue(DateStamp, ItemId, Value) 
SELECT DateStamp, ItemId, Value 
FROM dbo.tmp_holding_DataValue AS t 
WHERE NOT EXISTS (SELECT 1 FROM dbo.DataValue AS d 
WHERE DateStamp = t.DateStamp 
AND ItemId = t.ItemId); 

Answer 2

En SQL Server 2008+:

MERGE 
INTO dataValue dv 
USING tmp_holding_DataValue t 
ON  t.dateStamp = dv.dateStamp 
     AND t.itemId = dv.itemId 
WHEN NOT MATCHED THEN 
INSERT (dateStamp, itemId, value) 
VALUES (dateStamp, itemId, value) 
/* 
WHEN MATCHED THEN 
UPDATE 
     value = t.value 
*/ 
-- Uncomment above to rewrite duplicates rather than ignore them 

Answer 3

puede asignar el PK como Ignorar clave duplicada = Sí. Luego solo ignorará una clave duplicada de advertencia y continuará. No estoy adivinando. Probé esto.

Lo que encontré es que no puedo hacer esto es SMSS. Tiene que soltar y volver a crear el índice a través de secuencia de comandos. Pero puede hacer clic con el botón derecho en el índice, seleccionar soltar y volver a crear, y luego simplemente cambiar Ignorar clave duplicada = Sí. Para mí, SMSS no mostró el cambio de inmediato.

IF EXISTS (SELECT * FROM sys.indexes WHERE object_id = OBJECT_ID(N'[dbo].[PKallowDup]') AND name = N'PK_PKallowDup') 
ALTER TABLE [dbo].[PKallowDup] DROP CONSTRAINT [PK_PKallowDup] 
GO 

USE [test] 
GO 

/****** Object: Index [PK_PKallowDup] Script Date: 05/22/2012 10:23:13 ******/ 
ALTER TABLE [dbo].[PKallowDup] ADD CONSTRAINT [PK_PKallowDup] PRIMARY KEY CLUSTERED 
(
    [PK] ASC 
)WITH (PAD_INDEX = OFF, STATISTICS_NORECOMPUTE = OFF, SORT_IN_TEMPDB = ON, IGNORE_DUP_KEY = ON, ONLINE = OFF, ALLOW_ROW_LOCKS = ON, ALLOW_PAGE_LOCKS = ON) ON [PRIMARY] 
GO 

O creo que se podría utilizar una combinación externa

INSERT dbo.DataValue(DateStamp, ItemId, Value) 
SELECT t.DateStamp, t.ItemId, t.Value 
    FROM dbo.tmp_holding_DataValue AS t 
    left join dbo.DataValue AS d 
    on d.DateStamp = t.DateStamp 
    AND d.ItemId = t.ItemId 
WHERE d.DateStamp is null 
    and d.ItemId in null 

Answer 4

me encontré con un requisito similar que terminó lanzando el mismo error de clave duplicada, y luego la idea era seleccionar varias columnas que son distintos (primario), mientras que regresan también otras columnas, check:

INSERT INTO DataValue(DateStamp, ItemId, Value) 
SELECT DISTINCT DateStamp, ItemId, MAX(Value) AS Value 
FROM tmp_holding_DataValue 
GROUP BY DateStamp, ItemId 

De hecho, el objetivo podría lograrse sin la distinto, así ya que la diversión agregada ction MAX elegirá un único valor.