¿Cómo encontrar la diferencia establecida de dos archivos?

Question

Tengo dos archivos A y B. Quiero encontrar todas las líneas en A que no están en B. ¿Cuál es la forma más rápida de hacer esto en bash/utilizando las utilidades estándar de Linux? Esto es lo que intenté hasta ahora:

for line in `cat file1` 
do 
    if [ `grep -c "^$line$" file2` -eq 0]; then 
    echo $line 
    fi 
done 

Funciona, pero es lento. ¿Hay una manera más rápida de hacer esto?

Answer 1

The BashFAQdescribes doing exactly this with comm, que es el método canónicamente correcta.

# Subtraction of file1 from file2 
# (i.e., only the lines unique to file2) 
comm -13 <(sort file1) <(sort file2) 

diff es menos apropiado para esta tarea, ya que trata de operar en bloques en lugar de líneas individuales; como tal, los algoritmos que tiene que usar son más complejos y menos eficientes en la memoria.

comm ha sido part of the Single Unix Specification desde SUS2 (1997).

Answer 2

El programa 'diff' es el programa estándar de Unix que analiza las diferencias entre los archivos.

% cat A 
a 
b 
c 
d 
% cat B 
a 
b 
e 
% diff A B 
3,4c3 
< c 
< d 
--- 
> e 

Con un simple grep y cortar uno puede seleccionar las líneas A, no en B. Tenga en cuenta que el corte es bastante simplista y espacios en las líneas sería tirarlo fuera ... pero el concepto es allí.

% diff A B | grep '^<' | cut -f2 -d" " 
c 
d 

Answer 3

Si simplemente desea que las líneas que se encuentran en el archivo A, pero no en B, puede ordenar los archivos, y compararlos con diff.

sort A > A.sorted 
sort B > B.sorted 
diff -u A.sorted B.sorted | grep '^-'