Revisión ortográfica a "gran escala" en Python

Question

Sorprendentemente, no he podido encontrar a nadie que realmente esté haciendo esto, pero seguramente alguien sí. Actualmente estoy trabajando en un proyecto de Python que implica la corrección ortográfica de unas 16 mil palabras. Esa cantidad de palabras solo va a crecer por desgracia. En este momento estoy sacando palabras de Mongo, iterando a través de ellas, y luego deletreo revisándolas con pyenchant. Eliminé a mongo como posible cuello de botella al agarrar todos mis artículos de allí primero. Eso me deja alrededor de 20 minutos para procesar 16k palabras, lo que obviamente es más largo de lo que quiero gastar. Esto me deja con un par de ideas/preguntas:

1. Obviamente, podría aprovechar el enhebrado o alguna forma de paralelismo. Incluso si corté esto en 4 pedazos, todavía estoy mirando aproximadamente 5 minutos que asumen funcionamiento máximo.

2. ¿Hay alguna forma de saber qué biblioteca de ortografía Enchant usa debajo de pyenchant? El sitio web de Enchant parece implicar que utilizará todas las bibliotecas/diccionarios de ortografía disponibles cuando realice correcciones ortográficas. Si es así, entonces estoy potencialmente ejecutando cada palabra a través de tres a cuatro dictados de ortografía. Este podría ser mi problema aquí, pero estoy teniendo dificultades para demostrar que ese es el caso. Incluso si lo es, ¿es mi opción realmente desinstalar otras bibliotecas? Suena desafortunado

¿Alguna idea sobre cómo puedo sacar al menos un poco más el rendimiento de esto? Estoy de acuerdo con dividir esto en tareas paralelas, pero aún me gustaría conseguir que la pieza central sea un poco más rápida antes que yo.

Editar: Lo siento, publicar antes del café de la mañana ... Enchant genera una lista de sugerencias para mí si una palabra se deletrea incorrectamente. Eso parece ser donde paso la mayor parte de mi tiempo en esta parte de procesamiento.

Answer 1

Creo que estamos de acuerdo en que el cuello de botella de rendimiento aquí es Encantar; para este tamaño de conjunto de datos, es casi instantáneo hacer un booleano isSpeltCorrectly. Así que, ¿por qué no:

1. crear un conjunto en memoria de las palabras correctamente escritas-, usando los diccionarios que hace Encantar o ir a buscar su propio (por ejemplo OpenOffice's).

   Opcionalmente, uniquify las palabras del documento, digamos poniéndolas en un set. Esto probablemente no te ahorrará mucho.

2. Compruebe si cada palabra está en el conjunto o no. Esto es rápido, porque es solo una búsqueda establecida. (Probablemente O(log N) donde N es el número de palabras? Asumiendo set cubos de hash y hace una búsqueda binaria ... un gurú Python me puede corregir aquí.)

3. Si no es así, entonces piden a encantar recomendar una palabra para eso. Esto es necesariamente lento.

Esto supone que la mayoría de sus palabras están escritas correctamente; si no lo son, tendrás que ser más inteligente.

Answer 2

Quizás una mejor forma de hacer esto sea comprimir el documento, ya que esto eliminaría cualquier instancia repetitiva de palabras, que en realidad solo necesita deletrear una vez. Solo sugiero esto, ya que probablemente sea más rápido que escribir tu buscador de palabras único.

La versión comprimida debe tener referencias a las palabras únicas, en algún lugar dentro de su archivo, puede que tenga que buscar cómo están estructuradas.

A continuación, puede corregir la ortografía de todas las palabras únicas. Espero que no los esté verificando con consultas SQL individuales o algo así, debería cargar un diccionario en forma de árbol en su memoria y luego verificar las palabras con eso.

Una vez hecho esto, simplemente descomprímalo y hey presto todo está corrector ortográfico. Esta debería ser una solución bastante rápida.

O tal vez no necesite realizar todo el proceso de compresión si la revisión ortográfica realmente es tan rápida como sugieren los comentarios, lo que indicaría una implementación incorrecta.

Answer 3

Yo usaría un corrector ortográfico de estilo Peter Norvig. He escrito una publicación completa sobre esto.

http://blog.mattalcock.com/2012/12/5/python-spell-checker/

He aquí un fragmento del código que mira a posibles modificaciones de la palabra para comprobar.

def edits1(word): 
    s = [(word[:i], word[i:]) for i in range(len(word) + 1)] 
    deletes = [a + b[1:] for a, b in s if b] 
    transposes = [a + b[1] + b[0] + b[2:] for a, b in s if len(b)>1] 
    replaces = [a + c + b[1:] for a, b in s for c in alphabet if b] 
    inserts = [a + c + b  for a, b in s for c in alphabet] 
    return set(deletes + transposes + replaces + inserts) 

Debería recorrer el creciente archivo de datos de las palabras para verificarlo extremadamente rápido con este código. Ver el post completo para obtener más información:

http://blog.mattalcock.com/2012/12/5/python-spell-checker/