Stemming - ejemplos de código o proyectos de código abierto

Question

Stemming es algo que se necesita en los sistemas de etiquetado. Uso delicioso, y no tengo tiempo para administrar y podar mis etiquetas. Soy un poco más cuidadoso con mi blog, pero no es perfecto. Escribo software para sistemas integrados que serían mucho más funcionales (útiles para el usuario) si incluyesen la derivación.

Por ejemplo:
Analizar
Analizador
de análisis

caso de todos significan lo mismo a cualquier sistema que los estoy poniendo en.

Lo ideal es que haya una lectora con licencia BSD en algún lugar, pero si no, ¿dónde busco aprender los algoritmos y técnicas comunes para esto?

Aparte de los proyectores BSD, ¿qué otras lectoras con licencia de código abierto existen?

-Adam

Answer 1

Snowball despalilladora (C & Java) Lo he utilizado está vinculante Python, PyStemmer

Answer 2

Lucene tiene una despalilladora, yo creo (y IIRC que le permite utilizar su propio si lo desea).

EDITAR: Acabo de marcar, y Lucence se refiere al sitio Snowball que es una biblioteca de código abierto de origen hasta donde yo sé.

Answer 3

Mira la nltk toolkit escrito en Python. Tiene un stemmer muy funcional.

Answer 4

Otra opción para la derivación sería WordNet, junto con one of its APIs. Algunos basic information on stemming and lemmatization, que incluyen una descripción del algoritmo de derivación Porter, se pueden encontrar en línea en Introduction to Information Retrieval.