Cómo eliminar filas de manera eficiente mientras NO se usa Truncar tabla en una tabla de más de 500,000 filas

Question

Digamos que tenemos la tabla Ventas con 30 columnas y 500,000 filas. Me gustaría eliminar 400,000 en la tabla (aquellos donde "toDelete='1'").

Pero tengo unas pocas restricciones:

• la tabla se lee/escribe "a menudo" y no me gustaría mucho "eliminar" a tomar mucho tiempo y bloquear la tabla durante demasiado tiempo
• tengo que saltar el registro de transacciones (como con un TRUNCATE), pero mientras se hace un "DELETE ... WHERE..." (tengo que poner una condición), pero no he encontrado ninguna manera de hacer esto ...

cualquier consejo ser bienvenido a transformar un

DELETE FROM Sales WHERE toDelete='1' 

a algo más particionado & posiblemente registro de transacciones gratis.

Answer 1

Una forma en que tuve que hacer esto en el pasado es tener un procedimiento almacenado o una secuencia de comandos que borre n registros. Repita hasta que termine.

DELETE TOP 1000 FROM Sales WHERE toDelete='1' 

Answer 2

Usted debe tratar de darle un toque ROWLOCK por lo que no se bloqueará toda la tabla. Sin embargo, si elimina muchas filas, se producirá una escalada de bloqueo.

Además, asegúrese de tener un índice no agrupado (solo para 1 valores) en la columna toDelete. Si es posible, conviértalo en una columna de bit, no varchar (o lo que es ahora).

DELETE FROM Sales WITH(ROWLOCK) WHERE toDelete='1' 

En última instancia, puede tratar de iterar sobre la tabla y eliminar en trozos.

Actualizado

Desde mientras bucles y eliminaciones trozo son el nuevo rosa aquí, voy a tirar en mi versión demasiado (combinado con mi respuesta anterior):

SET ROWCOUNT 100 
DELETE FROM Sales WITH(ROWLOCK) WHERE toDelete='1' 

WHILE @@rowcount > 0 
BEGIN 
    SET ROWCOUNT 100 
    DELETE FROM Sales WITH(ROWLOCK) WHERE toDelete='1' 
END 

Answer 3

Calling DELETE FROM TableName hará la eliminación completa en una transacción grande. Esto es caro.

Aquí es otra opción que será eliminar filas en lotes:

deleteMore: 
DELETE TOP(10000) Sales WHERE toDelete='1' 
IF @@ROWCOUNT != 0 
    goto deleteMore 

Answer 4

Lo que queremos es el procesamiento por lotes.

While (select Count(*) from sales where toDelete =1) >0 
BEGIN 
Delete from sales where SalesID in 
(select top 1000 salesId from sales where toDelete = 1) 
END 

Por supuesto, puede experimentar que es el mejor valor a utilizar para el lote, que he usado desde 500 hasta 50.000 dependiendo de la tabla. Si usa la eliminación en cascada, probablemente necesite un número más pequeño ya que tiene esos registros secundarios para eliminar.

Answer 5

Mi propia opinión sobre esta funcionalidad sería la siguiente. De esta manera no hay código repetido y puede administrar el tamaño de su porción.

DECLARE @DeleteChunk INT = 10000 
DECLARE @rowcount INT = 1 

WHILE @rowcount > 0 
BEGIN 

    DELETE TOP (@DeleteChunk) FROM Sales WITH(ROWLOCK) 

    SELECT @rowcount = @@RowCount 
END 

Answer 6

He utilizado el siguiente para eliminar alrededor de 50 millones de discos -

BEGIN TRANSACTION  
    DeleteOperation: 
    DELETE TOP (BatchSize) 
    FROM [database_name].[database_schema].[database_table] 

    IF @@ROWCOUNT > 0 
    GOTO DeleteOperation 
COMMIT TRANSACTION 

Tenga en cuenta que el mantenimiento de la BatchSize < 5000 es menos costoso en recursos.

Answer 7

Como supongo que la mejor manera de eliminar gran cantidad de registros es eliminarlo por Primary Key. (¿Qué es Primary Keysee here)

Por lo tanto, debe generar la secuencia de comandos tsql que contiene toda la lista de líneas para eliminar y luego ejecutar esta secuencia de comandos.

Por ejemplo de código siguiente se que va a generar el archivo

GO 
SET NOCOUNT ON 

SELECT 'DELETE FROM DATA_ACTION WHERE ID = ' + CAST(ID AS VARCHAR(50)) + ';' + CHAR(13) + CHAR(10) + 'GO' 
FROM DATA_ACTION 
WHERE YEAR(AtTime) = 2014 

El archivo ouput se va a tener registros como

DELETE FROM DATA_ACTION WHERE ID = 123; 
GO 
DELETE FROM DATA_ACTION WHERE ID = 124; 
GO 
DELETE FROM DATA_ACTION WHERE ID = 125; 
GO 

Y ahora usted tiene que utilizar SQLCMD utilidad con el fin de ejecutar este script.

sqlcmd -S [Instance Name] -E -d [Database] -i [Script] 

Puede encontrar este enfoque han explicado aquí https://www.mssqltips.com/sqlservertip/3566/deleting-historical-data-from-a-large-highly-concurrent-sql-server-database-table/