copia de datos de una gran tabla de producción

Question

La empresa para la que trabajo tiene algunas tablas enormes de registro/diario que se escriben cada 10 segundos más o menos con transacciones. Me gustaría copiar muchos de los datos en esta tabla y eliminarlos de esa tabla porque aproximadamente el 75% de los datos anteriores podrían colocarse en una tabla de archivo o algo así, pero si lo hago mal y la tabla se bloquea hasta sería un desastre.

En una pregunta anterior a un chico se le ocurrió algo así, me gustaría saber que esto no lo arruinaría todo, ¿es la pista de nolock suficiente para mantenerme a salvo y todas las escrituras funcionan bien? Si no, ¿qué debería hacer?

set identity_insert newtable on 
DECLARE @StartID bigint, @LastID bigint, @EndID bigint 
select @StartID = max(id)+1 
from newtable 

select @LastID = max(ID) 
from oldtable 

while @StartID < @LastID 
begin 
set @EndID = @StartID + 1000000 

insert into newtable (FIELDS,GO,HERE) 
select FIELDS,GO,HERE from oldtable (NOLOCK) 
where id BETWEEN @StartID AND @EndId 

set @StartID = @EndID + 1 
end 
set identity_insert newtable off 
go 

Answer 1

La extrema precaución en la generación de su lista probablemente esté por la borda, pero querrá ejecutar una eliminación por lotes.

Para el INSERT, probablemente no necesite el bucle WHILE. Para el DELETE, sin embargo, me gustaría utilizar algo como esto (ajustar el tamaño del lote a sus necesidades):

WHILE 1=1 
BEGIN 
    DELETE TOP (10000) o 
    FROM OldTable o 
    INNER JOIN NewTable N 
     ON o.id = n.id 
    IF @@ROWCOUNT < 10000 BREAK; 
END 

Esto hará DELETE registros 10k a la vez, siempre y cuando hay registros que desea eliminar.

Answer 2

Una opción es dividir la tabla por hora (suponiendo que tiene una columna en la tabla DATETIME que por defecto es GETDATE() en cada inserto). Tener las particiones le permite realizar tareas de mantenimiento (colocar, copiar, etc.) en las particiones más antiguas sin afectar la actual.