Algoritmo o biblioteca de vecino más cercano basado en palabras clave

Question

Quiero encontrar una biblioteca o un algoritmo (así que escribo el código) para identificar los vecinos k más cercanos de una página web, donde la página web se define como un conjunto de palabras clave. Ya hice la parte donde extraigo las palabras clave.

No tiene que ser muy bueno, solo lo suficientemente bueno.

¿Alguien puede sugerir una solución o por dónde empezar? He revisado las conferencias de Yury Lifshits en el pasado, pero espero obtener algo listo, si es posible.

Se prefieren las bibliotecas de Java.

Answer 1

Como dijo, ya tiene las palabras clave extraídas de una página. Supongo que representa cada documento/página por un vector de palabras. Algo así como una matriz document term-frequency.

Supongo que el vecino más cercano de una página es idealmente una página con contenido similar. Entonces, le gustaría encontrar documentos donde la frecuencia relativa de cada palabra sea similar a la que está buscando. Así que primero normalice la matriz de término de ejercicio WRT en cada fila; es decir, reemplace el recuento de ocurrencia por% de ocurrencia de tage.

A continuación, debe asignar cierta distancia entre 2 documentos representados por estos vectores. Puede usar la normal Euclidean distance o Manhattan Distance. Sin embargo, para el documento de texto, la medida de similitud que generalmente funciona mejor es Cosine Similarity. Use cualquier distancia o función de similitud que se adapte a su problema (recuerde que para el vecino más cercano desea minimizar la distancia, pero maximice la similitud).

Una vez que tenga los vectores y su función de distancia en su lugar, ejecutar el algoritmo o Nearest neighbourK-Nearest neighbour.