Perl - Encontrar líneas duplicadas en un archivo o matriz

Question

Estoy tratando de imprimir líneas duplicadas desde el manejador de archivos, no eliminarlas o cualquier otra cosa que vea en otras preguntas. No tengo suficiente experiencia con Perl para poder hacer esto rápidamente, así que estoy preguntando aquí. ¿Cuál es la manera de hacer esto?

Answer 1

Utilizando las abreviaturas estándar de Perl:

my %seen; 
while (<>) { 
    print if $seen{$_}++; 
} 

Como "de una sola línea":

perl -ne 'print if $seen{$_}++' 

Más datos? Esto imprime <file name>:<line number>:<line>:

perl -ne 'print ($ARGV eq "-" ? "" : "$ARGV:"), "$.:$_" if $seen{$_}++' 

Explicación de %seen:

• %seen declara un hash. Para cada única línea de en la entrada (que viene de while(<>) en este caso) $seen{$_} tendrá una ranura para escalar en el hash nombrado por el texto de la línea (esto es lo que $_ está haciendo en el tiene {} llaves).
• Usando el operador de incremento de sufijo (x++) nos tomamos el valor de nuestra expresión, recordando a la subasta después de la expresión. Entonces, si no hemos "visto" la línea $seen{$_} no está definida, pero cuando se la fuerza a un "contexto" numérico como este, se toma como 0 - y como falso.
• entonces es incrementado a 1.

Por lo tanto, cuando el while se pone en marcha, todas las líneas son "cero" (si ayuda a que se pueda imaginar las líneas como "no %seen"), entonces, el primer Cuando veamos una línea, perl toma el valor indefinido - que falla el if - e incrementa el recuento en la ranura escalar a 1. Por lo tanto, es 1 para cualquier ocurrencia futura en que punto pase la condición if y se imprima.

Ahora como dije anteriormente, %seen declara un hash, pero con strict desactivado, cualquier expresión variable puede crearse en el acto. Así que la primera vez que Perl ve $seen{$_} sabe que estoy buscando %seen, no lo tiene, por lo que lo crea.

Otra cosa interesante acerca de esto es que al final, si te interesa usarlo, tienes un recuento de cuántas veces se repitió cada línea.

Answer 2

probar esto

#!/usr/bin/perl -w 
use strict; 
use warnings; 

my %duplicates; 
while (<DATA>) { 
    print if !defined $duplicates{$_}; 
    $duplicates{$_}++; 
} 

Answer 3

Si usted tiene un sistema similar a Unix, puede utilizar uniq:

uniq -d foo 

o

uniq -D foo 

debe hacer lo que quiera. Más información: man uniq.

Answer 4

imprime dupes sólo una vez:

perl -ne "print if $seen{$_}++ == 1"