Eliminar filas duplicadas en Django DB

Question

Tengo un modelo en el que debido a una falla en el código, hay filas duplicadas. Ahora necesito eliminar cualquier duplicado de la base de datos.

Cada fila debe tener un único photo_id. ¿Hay una manera simple de eliminarlos? O tengo que hacer algo como esto:

rows = MyModel.objects.all() 
for row in rows: 
    try: 
     MyModel.objects.get(photo_id=row.photo_id) 
    except: 
     row.delete() 

Answer 1

¡La manera más simple es la manera más simple! Especialmente para uno de los scripts donde el rendimiento ni siquiera importa (a menos que lo haga). Dado que no es un código central, solo escribiría lo primero que se me ocurra y funciona.

# assuming which duplicate is removed doesn't matter... 
for row in MyModel.objects.all(): 
    if MyModel.objects.filter(photo_id=row.photo_id).count() > 1: 
     row.delete() 

Como siempre, una copia de seguridad antes de hacer estas cosas.

Answer 2

Esto puede ser más rápido porque evita el filtro interno para cada fila en MyModel.

Dado que los identificadores son únicos, si los modelos son ordenados por ellos en orden creciente, podemos hacer un seguimiento de la última identificación que vimos y mientras caminamos sobre las filas si vemos un modelo con la misma identificación, debe ser un duplicado, entonces podemos eliminarlo.

lastSeenId = float('-Inf') 
rows = MyModel.objects.all().order_by('photo_id') 

for row in rows: 
    if row.photo_id == lastSeenId: 
    row.delete() # We've seen this id in a previous row 
    else: # New id found, save it and check future rows for duplicates. 
    lastSeenId = row.photo_id 

Answer 3

Aquí es una solución rápida:

from django.db import connection 

query = "SELECT id FROM table_name GROUP BY unique_column HAVING COUNT(unique_column)>1" 
cursor = connection.cursor() 
cursor.execute(query) 
ids_list = [item[0] for item in cursor.fetchall()] 

ahora se puede hacer:

Some_Model.objects.filter(id__in=ids_list).delete() 

o si ids_list era demasiado grande para ser manejado por su DBMS

se puede segmentarlo en trozos que puedan ser manejados por él:

seg_length = 100 
ids_lists = [ids_list[x:x+seg_length] for x in range(0,len(ids_list),seg_length)] 
for ids_list in ids_lists: 
    SomeModel.objects.filter(id__in=ids_list).delete()