Forma más rápida de eliminar duplicados en listas Python

Question

Tengo dos listas muy grandes y recorrerlas una vez lleva al menos un segundo y tengo que hacerlo 200,000 veces. ¿Cuál es la forma más rápida de eliminar duplicados en dos listas para formar uno?

Answer 1

Esta es la manera más rápida que puedo pensar:

import itertools 
output_list = list(set(itertools.chain(first_list, second_list))) 

actualización Leve: Como jcd señala, dependiendo de su aplicación, es probable que no necesita convertir el resultado a una lista. Dado que un conjunto es iterable por sí mismo, es posible que pueda utilizar sólo directamente:

output_set = set(itertools.chain(first_list, second_list)) 
for item in output_set: 
    # do something 

Sin embargo, Aviso que cualquier solución que implique el uso de set() probablemente cambiar el orden de los elementos en la lista, por lo que no hay garantía de que los elementos estará en cualquier orden particular. Dicho esto, dado que estás combinando dos listas, es difícil encontrar una buena razón por la que necesitarías un pedido particular sobre ellas de todos modos, así que probablemente no es algo de lo que tengas que preocuparte.

Answer 2

result = list(set(list1).union(set(list2))) 

Así es como yo lo haría. Aunque no estoy tan seguro del rendimiento, pero sin duda es mejor que hacerlo a mano.

Answer 3

Como dice Daniel, un conjunto no puede contener entradas duplicadas - así concatenar las listas:

list1 + list2 

A continuación, convertir la nueva lista a un conjunto:

set(list1 + list2) 

Luego de vuelta a una lista:

list(set(list1 + list2)) 

Answer 4

Recomendaría algo como esto:

def combine_lists(list1, list2): 
    s = set(list1) 
    s.update(list2) 
    return list(s) 

Esto elimina el problema de crear una lista de monstruos de la concatenación de los dos primeros.

Dependiendo de lo que esté haciendo con la salida, no se moleste en convertir nuevamente a una lista. Si el orden es importante, es posible que necesite algún tipo de decorar/ordenar/decodificar las travesuras alrededor de esto.