Regex para reemplazar galimatías

Question

Tengo que limpiar algunas entradas de OCR que reconoce la escritura manuscrita como un galimatías. ¿Alguna sugerencia para una expresión regular para eliminar los caracteres aleatorios? Ejemplo:

---

 
Federal prosecutors on Monday charged a Miami man with the largest 
case of credit and debit card data theft ever in the United States, 
accusing the one-time government informant of swiping 130 million 
accounts on top of 40 million he stole previously. 

, ':, Ie 
':... 11'1 
. '(.. ~!' ': f I I 
. " .' I ~ 
I' ,11 l 
I I I ~ \ :' ,! .~ , .. r, 1 , ~ I . I' , .' I ,. 
, i 
I ; J . I.' ,.\) .. 
. : I 
'I', I 
.' ' 
r," 

Gonzalez is a former informant for the U.S. Secret Service who helped 
the agency hunt hackers, authorities say. The agency later found out that 
he had also been working with criminals and feeding them information 
on ongoing investigations, even warning off at least one individual, 
according to authorities. 

eh....l 
~.\O ::t 
e;~~~ 
s: ~ ~. 0 
qs c::; ~ g 
o t/J (Ii ., 
::3 (1l Il:l 
~ cil~ 0 2: 
t:lHj~(1l 
. ~ ~a 
0~ ~ S' 
N ("b t/J :s 
Ot/JIl:l"-<:! 
v'g::!t:O 
-....c...... 
VI (:ll <' 0 
:= - ~ 
< (1l ::3 
(1l ~ ' 
t/J VJ ~ 
Pl 
..... 
.... 
(II 

Answer 1

bien un grupo de símbolos podría coincidir con un poco de galimatías. Tal vez consultar con un diccionario las palabras?

Parece que hay muchos saltos de línea donde hay galimatías, por lo que también puede ser un indicador.

Answer 2

Problema interesante.

Si esto es representativo, supongo que podría compilar una biblioteca de palabras comunes y eliminar cualquier línea que no coincida con ninguna de ellas.

O tal vez podría hacer coincidir caracteres y caracteres de puntuación y ver si hay un límite de razón confiable, o simplemente una frecuencia de aparición de algunos caracteres que lo señala como un galimatías.

Independientemente, creo que tendrá que haber alguna lógica de programación, no simplemente una expresión regular única.

Answer 3

Supongo que una expresión regular no ayudaría aquí. Regex básicamente coincidiría con una entrada determinista, es decir, una expresión regular tendrá un conjunto predefinido de patrones que coincidirá. Y el galimatías en la mayoría de los casos sería aleatorio. Una forma sería invertir el problema, es decir, hacer coincidir el texto relevante en lugar de coincidir con el galimatías.

Answer 4

Una de las soluciones SimpleSet (no regexpes que implican):

#pseudopython

number_of_punct = sum ([1 si c.ispunct() else 0 para c en línea])

if number_of_punct> len (línea)/2: line_is_garbage()

bien. O rude regexpish s/[! '"@ # ~ $%^&] {5,} // g

Answer 5

Regex no ayuda aquí. Yo diría que si usted tiene control sobre la parte de reconocimiento, entonces enfoque de mejor calidad que hay: http://www.neurogy.com/ocrpreproc.html

también puede pedir usuario para ayudarle y especificar el tipo de texto que trabaja con, por ejemplo si se trata de una página de un libro, entonces se puede esperar que la mayoría de las líneas a ser el mismo. longitud y consiste principalmente en letras, espacios y signos de puntuación

Answer 6

Me gustaría reclamar una expresión regular como "cualquier signo seguido de cualquier cosa, excepto un espacio es correo no deseado".

Así que en .NET que es, posiblemente, algo así como

.Replace("\\p{1,}[a-zA-Z0-9]{1,}", ""); 

Entonces consideraría "palabra con dos o más signos de puntuación consecutivos:

.Replace(" \\p{2,} ", ""); 

parece un buen comienzo de todos modos.

Answer 7

Una heurística simple, similar a anonymous respuesta:

listA = [0,1,2..9, a,b,c..z, A,B,C,..Z , ...] // alphanumerical symbols 
listB = [!@$%^&...] // other symbols 

Na = number_of_alphanumeric_symbols(line) 
Nb = number_of_other_symbols(line) 

if Na/Nb <= garbage_ratio then 
    // garbage 

Answer 8

Ni idea de lo bien que funcionaría, pero he considerado este problema en el pasado, sin hacer nada. En ocasiones he jugado con un pequeño dispositivo programático llamado markov chain

Ahora el artículo de la wikipedia probablemente no tendrá mucho sentido hasta que vea algunas de las otras cosas que una cadena de markov es buena. Un ejemplo de una cadena de markov en acción es este Greeking generator. Otro ejemplo es el MegaHAL chatbot.

Greeking es un galimatías que se parece a las palabras. Las cadenas de Markov proporcionan una forma de generar aleatoriamente una secuencia de letras, pero ponderan las elecciones aleatorias para emular los patrones de frecuencia de un corpus examinado. Entonces, por ejemplo, dada la letra "T", es más probable que aparezca la letra h que cualquier otra letra. Entonces, examina un corpus (digamos algunos periódicos o publicaciones en el blog) para producir una especie de huella digital del idioma al que apunta.

Ahora que tiene esa tabla de frecuencia/huella digital, puede examinar el texto de muestra y calificar cada letra de acuerdo con la probabilidad de que aparezca. Luego, puede marcar las letras bajo un umbral particular para eliminarlas. En otras palabras, un filtro sorpresa. Filtra las sorpresas.

Hay un margen de maniobra para la generación de tablas de frecuencia. No está limitado a una letra después de otra. Puede construir una tabla de frecuencias que predice qué letra seguirá probablemente a cada dígrafo (grupo de dos letras), o a cada trigraph, o quadgraph. Puede trabajar al otro lado, prediciendo los trigrafos probables e improbables para aparecer en ciertas posiciones, dado algún texto anterior.

Es como una expresión regular difusa. En lugar de MATCH o NO MATCH, el texto completo se puntúa en una escala variable de acuerdo con la similitud del texto de referencia.

Answer 9

Hice un combo de eliminación de líneas que no contengan al menos dos palabras de 3 letras o una palabra de 6 letras.

([az | AZ] {3} \ s) {2} | ([az | AZ] {6})

http://www.regexpal.com/

Answer 10

me gusta @ respuesta de Breton - I' Sugiero usar su enfoque de Corpus también con una biblioteca de 'escaneos defectuosos' conocidos, que podrían ser más fáciles de identificar porque 'basura' tiene más consistencia interna que 'texto bueno' si proviene de escaneos de OCR incorrectos (el número de glifos distintos es más bajo, por ejemplo).

Answer 11

Otra buena técnica es utilizar un corrector ortográfico/diccionario y buscar las 'palabras' después de haber eliminado las cosas no legibles con regex.

Answer 12

Aquí es una aplicación Perl del garbage_ratio heurística:

#!/usr/bin/perl 

use strict; 
use warnings; 

while (defined(my $chunk = read_chunk(\*DATA))) { 
    next unless length $chunk; 

    my @tokens = split ' ', $chunk; 
    # what is a word? 
    my @words = grep { 
     /^[A-Za-z]{2,}[.,]?$/ 
      or /^[0-9]+$/ 
      or /^a|I$/ 
      or /^(?:[A-Z][.])+$/ 
    } @tokens; 

    # completely arbitrary threshold 
    my $score = @words/@tokens; 
    print $chunk, "\n" if $score > 0.5; 
} 

sub read_chunk { 
    my ($fh) = @_; 
    my ($chunk, $line); 

    while (my $line = <$fh>) { 
     if($line =~ /\S/) { 
      $chunk .= $line; 
      last; 
     } 
    } 

    while (1) { 
     $line = <$fh>; 
     last unless (defined $line) and ($line =~ /\S/); 
     $chunk .= $line; 
    } 

    return $chunk; 
} 


__DATA__ 

pega el siguiente texto anterior después de __DATA__ anterior (no repetir el texto aquí para ahorrar espacio). Por supuesto, el uso de la sección __DATA__ tiene el propósito de publicar una secuencia de comandos independiente. En la vida real, tendrías código para abrir el archivo, etc.

Salida:

 
Federal prosecutors on Monday charged a Miami man with the largest 
case of credit and debit card data theft ever in the United States, 
accusing the one-time government informant of swiping 130 million 
accounts on top of 40 million he stole previously. 

Gonzalez is a former informant for the U.S. Secret Service who helped 
the agency hunt hackers, authorities say. The agency later found out that 
he had also been working with criminals and feeding them information 
on ongoing investigations, even warning off at least one individual, 
according to authorities.