Django seleccionar sólo las filas con valores de campo duplicados

Question

supongamos que tenemos un modelo de Django definido de la siguiente manera:

class Literal: 
    name = models.CharField(...) 
    ... 

campo Nombre no es único, y por lo tanto pueden tener valores duplicados. Necesito realizar la siguiente tarea: Seleccione todas las filas del modelo que tienen al menos un valor duplicado del campo name.

sé cómo hacerlo utilizando SQL normal (no puede ser la mejor solución):

select * from literal where name IN (
    select name from literal group by name having count((name)) > 1 
); 

lo tanto, es posible seleccionar esta usando ORM de Django? O mejor solución de SQL?

Answer 1

Probar:

from django.db.models import Count 
Literal.objects.values('name') 
       .annotate(Count('id')) 
       .order_by() 
       .filter(id__count__gt=1) 

Esto es lo más cerca que se puede obtener con Django. El problema es que esto devolverá un ValuesQuerySet con solo name y count. Sin embargo, a continuación, puede utilizar este para construir un habitual QuerySet alimentándolo de nuevo en otra consulta:

dupes = Literal.objects.values('name') 
         .annotate(Count('id')) 
         .order_by() 
         .filter(id__count__gt=1) 
Literal.objects.filter(name__in=[item['name'] for item in dupes]) 

Answer 2

tratar de usar aggregation

Literal.objects.values('name').annotate(name_count=Count('name')).exclude(name_count=1) 

Answer 3

Esto fue rechazado como una edición. Así que aquí es como mejor respuesta

dups = (
    Literal.objects.values('name') 
    .annotate(count=Count('id')) 
    .values('name') 
    .order_by() 
    .filter(count__gt=1) 
) 

Esto devolverá un ValuesQuerySet con todos los nombres duplicados. Sin embargo, puede usar esto para construir un QuerySet regular alimentándolo de nuevo a otra consulta. El ORM de Django es lo suficientemente inteligente como para combinarlos en una sola consulta:

Literal.objects.filter(name__in=dups) 

La llamada extra para .values ​​('nombre') después de la llamada annotate parece un poco extraño. Sin esto, la subconsulta falla. Los valores adicionales engañan al orm para que solo seleccione la columna de nombre para la subconsulta.

Answer 4

Si desea la lista de resultados únicos nombres pero no los objetos, puede utilizar la siguiente consulta

repeated_names = Literal.objects.values('name').annotate(Count('id')).order_by().filter(id__count__gt=1).values_list('name', flat='true') 

Answer 5

En caso de usar PostgreSQL, puede hacer algo como esto:

from django.contrib.postgres.aggregates import ArrayAgg 
from django.db.models import Func, Value 

duplicate_ids = (Literal.objects.values('name') 
       .annotate(ids=ArrayAgg('id')) 
       .annotate(c=Func('ids', Value(1), function='array_length')) 
       .filter(c__gt=1) 
       .annotate(ids=Func('ids', function='unnest')) 
       .values_list('ids', flat=True)) 

Se resultados en esta consulta SQL bastante simple:

SELECT unnest(ARRAY_AGG("app_literal"."id")) AS "ids" 
FROM "app_literal" 
GROUP BY "app_literal"."name" 
HAVING array_length(ARRAY_AGG("app_literal"."id"), 1) > 1