Qué herramientas NLP usar para unir frases que tengan un significado o semántica similar

Question

Estoy trabajando en un proyecto que requiere que haga coincidir una frase o palabra clave con un conjunto de palabras clave similares. Necesito realizar un análisis semántico para el mismo.

un ejemplo:

Relevante QT
seguro de salud barato
seguro de salud asequible
bajo costo del seguro médico del Plan
la salud por menos
de salud de bajo costo cobertura

significado común

seguro de salud a bajo costo

Aquí la palabra bajo la columna de Significado común debe coincidir con la columna de QT relevante. Miré un montón de herramientas y técnicas para hacer lo mismo. S-Match parecía muy prometedor, pero tengo que trabajar en Python, no en Java. También el análisis semántico latente se ve bien, pero creo que es más para la clasificación de documentos basada en una palabra clave en lugar de la coincidencia de palabras clave. Estoy algo familiarizado con NLTK. ¿Podría alguien dar alguna idea sobre qué dirección debo seguir y qué herramientas debería usar para hacer lo mismo?

Answer 1

Empezaría por echar un vistazo a Wordnet. Le dará sinónimos reales y otras relaciones de palabras para cientos de miles de términos. Desde que etiquetó nltk: proporciona enlaces para Wordnet, y puede usarlo como base para soluciones específicas de dominio.

Todavía en el NLTK, consulte la discusión del método similar() en el introduction para el libro NLTK, y la clase nltk.text.ContextIndex en la que se basa. (Todo es bastante simple, pero podría ser todo lo que realmente necesitas).

Answer 2

Si tiene un gran corpus, donde aparecen estas palabras, disponible, puede entrenar un modelo para representar cada palabra como vector. Por ejemplo, puede utilizar el aprendizaje profundo a través de los modelos "skip-gram y CBOW" de word2vec, se implementan en el gensim software package

En el modelo word2vec, cada palabra está representada por un vector, luego puede medir la similitud semántica entre dos palabras midiendo el coseno de los vectores que representan las palabras. palabras similares semánticas deben tener una alta similitud del coseno, por ejemplo:

model.similarity('cheap','inexpensive') = 0.8 

(El valor se compone, sólo para ilustración.)

también, de mis experimentos, resumiendo un número relativamente pequeño de las palabras (es decir, hasta 3 o 4 palabras) conserva la semántica, por ejemplo:.

vector1 = model['cheap']+model['health']+model['insurance'] 
vector2 = model['low']+model['cost']+model['medical']+model['insurance'] 

similarity(vector1,vector2) = 0.7 

(Una vez más, sólo para ilustración)

se puede utilizar esta similitud semántica mida entre palabras como una medida para generar sus grupos.

Answer 3

Cuando el análisis semántico latente se refiere a un "documento", básicamente significa cualquier conjunto de palabras que sea más largo que 1. Puede usarlo para calcular la similitud entre un documento y otro, entre una palabra y otra palabra, o entre una palabra y un documento. Entonces, ciertamente podría usarlo para su aplicación elegida.

Otros algoritmos que pueden ser útiles incluyen:

• indexación aleatoria (https://www.sics.se/~mange/papers/RI_intro.pdf) es bastante fácil de implementar uno mismo sin demasiada dificultad. También hay una implementación dentro de https://code.google.com/p/airhead-research/, pero está en Java, no en Python.
• modelado Tema (http://psiexp.ss.uci.edu/research/papers/SteyversGriffithsLSABookFormatted.pdf) - implementación de Python en http://radimrehurek.com/gensim/tutorial.html
• diseccionar (http://clic.cimec.unitn.it/composes/toolkit/introduction.html) - implementación de Python en http://clic.cimec.unitn.it/composes/toolkit/installation.html
• BEAGLE (http://www.indiana.edu/~clcl/BEAGLE/Jones_Mewhort_PR.pdf) - implementación de Python en https://github.com/mike-lawrence/wikiBEAGLE