bash, Linux: establecer la diferencia entre dos archivos de texto

Question

Tengo dos archivos A - nodes_to_delete y B - nodes_to_keep. Cada archivo tiene muchas líneas con identificadores numéricos.

Quiero tener la lista de identificadores numéricos que están en nodes_to_delete pero NO en nodes_to_keep, p. alt text http://mathworld.wolfram.com/images/equations/SetDifference/Inline1.gif.

Hacerlo en una base de datos PostgreSQL es irrazonablemente lento. ¿Alguna forma ordenada de hacerlo en bash usando las herramientas CLI de Linux?

ACTUALIZACIÓN: Esto parece ser un trabajo Pythonic, pero los archivos son realmente, muy grandes. He resuelto algunos problemas similares usando uniq, sort y algunas técnicas de teoría de conjuntos. Esto fue aproximadamente dos o tres órdenes de magnitud más rápido que los equivalentes de la base de datos.

Answer 1

El comando comm hace eso.

Answer 2

Tal vez necesites una mejor manera de hacerlo en postgres, puedo apostar que no encontrarás una forma más rápida de hacerlo con archivos planos. Debería poder realizar una unión interna simple y asumir que ambos id cols están indexados, lo que debería ser muy rápido.

Answer 3

Alguien me mostró cómo hacer exactamente esto hace un par de meses, y luego no pude encontrarlo por un tiempo ... y mientras miraba me tropecé con tu pregunta. Aquí está:

set_union() { 
    sort $1 $2 | uniq 
} 

set_difference() { 
    sort $1 $2 $2 | uniq -u 
} 

set_symmetric_difference() { 
    sort $1 $2 | uniq -u 
} 

Answer 4

uso comm - comparará dos líneas archivos ordenados por línea de

La respuesta a la pregunta de OP utilizando este ejemplo de configuración aparece a continuación. Este comando devolverá líneas únicas para deleteNodes, no en keepNodes

comm -1 -3 <(sort keepNodes) <(sort deleteNodes) 

explicación: Mostrar líneas única para deleteNodes, ocultar otras líneas

---

ejemplo de configuración

Usaremos keepNodes y deleteNodes. Se usan como entrada sin clasificar.

$ cat > keepNodes <(echo bob; echo amber;) 
$ cat > deleteNodes <(echo bob; echo ann;) 

Por defecto sin argumentos, imprime comm 3 columnas

unique_to_FILE1 
    unique_to_FILE2 
     lines_appear_in_both 

Este es un ejemplo de barebones de comm sin argumentos. Tenga en cuenta las tres columnas.

$ comm <(sort keepNodes) <(sort deleteNodes) 
amber 
    ann 
     bob 

Supresión de salida de la columna

reprimir la columna 1, 2 o 3 con -N; tenga en cuenta que cuando una columna está oculta, el espacio en blanco se encoge.

$ comm -1 <(sort keepNodes) <(sort deleteNodes) 
ann 
    bob 
$ comm -2 <(sort keepNodes) <(sort deleteNodes) 
amber 
    bob 
$ comm -3 <(sort keepNodes) <(sort deleteNodes) 
amber 
    ann 
$ comm -1 -3 <(sort keepNodes) <(sort deleteNodes) 
ann 
$ comm -2 -3 <(sort keepNodes) <(sort deleteNodes) 
amber 
$ comm -1 -2 <(sort keepNodes) <(sort deleteNodes) 
bob 

Se fallará con gracia cuando se olvida de ordenar

comm: file 1 is not in sorted order

Answer 5

comm fue diseñado específicamente para este tipo de casos de uso, pero requiere de entrada ordenada.

awk es posiblemente una mejor herramienta para esto, ya que es bastante sencillo encontrar la diferencia establecida, no requiere sort, y ofrece flexibilidad adicional.

awk 'NR == FNR { a[$0]; next } !($0 in a)' nodes_to_keep nodes_to_delete 

Tal vez, por ejemplo, desea sólo para encontrar la diferencia en las líneas que representan los números no negativos:

awk -v r='^[0-9]+$' 'NR == FNR && $0 ~ r { 
    a[$0] 
    next 
} $0 ~ r && !($0 in a)' nodes_to_keep nodes_to_delete