Corrección de ortografía para la normalización de datos en Java

Question

Estoy buscando una biblioteca Java para hacer una revisión ortográfica inicial/normalización de datos en el contenido de texto generado por el usuario, imagine los intereses ingresados ​​en un perfil de Facebook.

Este texto se convertirá en token en algún momento (antes o después de la corrección ortográfica, lo que sea que funcione mejor) y parte del mismo se utilizará como clave de búsqueda (coincidencia exacta). Sería bueno reducir los errores ortográficos y similares para producir más coincidencias. Sería incluso mejor si la corrección tuviera un buen rendimiento en tokens de más de una sola palabra, p. "café trinking" se convertiría en "tomar café" y no "pensar en café".

He encontrado las siguientes bibliotecas Java para hacer la corrección ortográfica:

1. CHILLÓN no parecen estar bajo desarrollo activo. Además, el enfoque basado en la distancia del diccionario parece inadecuado debido al uso de un lenguaje no estándar en los perfiles de redes sociales y tokens de varias palabras.
2. APACHE LUCENE parece tener un statistical spell checker que debería ser mucho más adecuado. La pregunta aquí sería cómo crear un buen diccionario? (No estamos utilizando Lucene de lo contrario, por lo que no existe un índice existente.)

¡Cualquier sugerencia es bienvenida!

Answer 1

Lo que desea implementar no es un corrector ortográfico sino una búsqueda difusa. El ensayo de Peter Norvig es un buen punto de partida para construir una búsqueda difusa de candidatos verificados en un diccionario.

Como alternativa, eche un vistazo a BK-Trees.

Un índice n-gram (utilizado por Lucene) produce mejores resultados para palabras más largas. El enfoque para producir candidatos hasta una distancia de edición dada probablemente funcionará lo suficientemente bien para palabras encontradas en el texto normal, pero no funcionará lo suficientemente bien para nombres, direcciones y textos científicos. Sin embargo, aumentará su tamaño de índice.

Si tiene los textos indexados, tiene su cuerpo de texto (su diccionario). Solo lo que está en sus datos se puede encontrar de todos modos. No necesita usar un diccionario externo.

Un buen recurso es Introduction to Information Retrieval - Dictionaries and tolerant retrieval. Hay una breve descripción de la corrección ortográfica sensible al contexto.

Answer 2

Probar Peter Norvig's spell checker.

Answer 3

Puede acceder al Gutenberg project o al Internet Archive para obtener montones y montones de corpus.

Además, creo que el Wiktionary podría ayudarlo. Incluso puede hacer un direct download.

Answer 4

Con respecto a llenar un índice de Lucene como la base de un corrector ortográfico, esta es una buena manera de resolver el problema. Lucene tiene un out the box SpellChecker que puede usar.

Hay muchos word dictionaries disponibles en la red que puede descargar y usar como base para su índice de lucene. Sugiero complementar estos con una serie de textos específicos de dominio, como, por ejemplo, si sus usuarios son médicos, entonces quizás complementen el diccionario con textos originales de tesis y publicaciones médicas.

Answer 5

http://code.google.com/p/google-api-spelling-java es una buena biblioteca de revisión ortográfica de Java, pero estoy de acuerdo con Thomas Jung, que puede no ser la respuesta a su problema.