Extracción de palabras completas

Question

que tienen un gran conjunto de texto del mundo real que tengo que tirar de palabras fuera de a la entrada en un comprobador de ortografía. Me gustaría extraer tantas palabras significativas como sea posible sin demasiado ruido. Sé que hay muchos ninjas regex por aquí, así que espero que alguien me pueda ayudar.

Actualmente estoy extraer todas las secuencias alfabéticas con '[a-z]+'. Esta es una buena aproximación, pero arrastra una gran cantidad de basura con ella.

Idealmente me gustaría un poco de expresiones regulares (no tiene que ser bonita o eficiente) que extrae todas las secuencias alfabéticas delimitadas por separadores de palabras naturales (tales como [/-_,.: ] etc.), e ignora las secuencias alfabéticas con límites ilegales.

Sin embargo, también estaría feliz de simplemente ser capaz de obtener todas las secuencias alfabéticas que no son adyacentes a un número. Así, por ejemplo 'pie21' no sería extraer 'pie', pero 'http://foo.com' extraería ['http', 'foo', 'com'].

me trataron lookahead y lookbehind afirmaciones, sino que se aplicaron por carácter (así por ejemplo re.findall('(?<!\d)[a-z]+(?!\d)', 'pie21') volvería 'pi' cuando quiero que vuelva nada). Traté de envolver la parte alfa como un término ((?:[a-z]+)) pero no ayudó.

más detalle: los datos es una base de datos de correo electrónico, por lo que es sobre todo la llanura Inglés con un número normal, pero a veces no hay cadenas de basura como GIHQ4NWL0S5SCGBDD40ZXE5IDP13TYNEA y AC7A21C0 que me gustaría ignorar por completo. Supongo que cualquier secuencia alfabética con un número es basura.

Answer 1

Si se restringe a sí mismo a las letras ASCII, a continuación, utilizar (con el conjunto re.I opción)

\b[a-z]+\b 

\b es un ancla de límite de palabra, a juego sólo al principio y al final de "palabras" alfanuméricos. Entonces \b[a-z]+\b coincide con pie, pero no pie21 o 21pie.

Para permitir también otras letras no ASCII, se puede usar algo como esto:

\b[^\W\d_]+\b 

que también permite que los caracteres acentuados, etc. Es posible que necesite para establecer la opción re.UNICODE, especialmente cuando se utilizan Python 2, en para permitir que la taquigrafía \w coincida con letras que no sean ASCII.

[^\W\d_] como una clase de caracteres negada permite cualquier carácter alfanumérico, excepto para los dígitos y subrayados.

Answer 2

¿Está familiarizado con word boundaries? (\b). Puede extraer la palabra de usar el \b alrededor de la secuencia y que coincide con el alfabeto dentro:

\b([a-zA-Z]+)\b 

Por ejemplo, esto se agarra palabras completas, pero parar en fichas como guiones, puntos, punto y coma, etc.

Puede \b las secuencias, y otros, a lo largo de la EDITARpython manual

Además, si lo que busca es acerca de una serie siguiente o anterior al partido, se puede utilizar un preanálisis negativo/detrás:

(?!\d) # negative look-ahead for numbers 
(?<!\d) # negative look-behind for numbers 

Answer 3

¿Qué hay de:

import re 
yourString="pie 42 http://foo.com GIHQ4NWL0S5SCGBDD40ZXE5IDP13TYNEA pie42" 
filter (lambda x:re.match("^[a-zA-Z]+$",x),[x for x in set(re.split("[\s:/,.:]",yourString))]) 

Tenga en cuenta que:

• dividida explota su cadena en potenciales candidatos => devuelve una lista de "posibles palabras"
• conjunto hace que el filtrado de unicidad => transforma la lista en conjunto, eliminando así las entradas que aparecen más de una vez. Este paso no es obligatorio.
filtro
• reduce el número de candidatos: toma una lista, aplica una función de prueba a cada elemento y devuelve una lista del elemento que sucede a la prueba. En nuestro caso, la función de prueba es "anónimo"
• lambda: función anónima, teniendo un artículo y de comprobar si se trata de una palabra (letras superiores o inferiores solamente)

EDIT: añadió algunas explicaciones

Answer 4

código de ejemplo

print re.search(ur'(?u)ривет\b', ur'Привет') 
print re.search(ur'(?u)\bривет\b', ur'Привет') 

o

s = ur"abcd ААБВ" 
import re 
rx1 = re.compile(ur"(?u)АБВ") 
rx2 = re.compile(ur"(?u)АБВ\b") 
rx3 = re.compile(ur"(?u)\bАБВ\b") 
print rx1.findall(s) 
print rx2.findall(s) 
print rx3.findall(s)