Algoritmo de similitud de texto

Question

Tengo dos archivos de subtítulos. Necesito una función que determina si representan el mismo texto, o el texto similar

A veces hay comentarios como "El viento sopla ... se reproduce la música" en un solo archivo. Pero el 80% por ciento de los contenidos será el mismo. La función debe devolver VERDADERO (los archivos representan el mismo texto). Y a veces hay errores ortográficos como 1 en lugar de l (uno - L) como aquí: Ella 1fuera del equipaje. Por supuesto, significa que la función debe devolver VERDADERO.

Mis comentarios:
La función debe devolver porcentaje de la similitud de los textos - ACUERDAN

"todo el pueblo estaba feliz" y "todas las personas que no estaban contentos" - aquí eso sería considerado como una error ortográfico, por lo que se consideraría el mismo texto. Para ser exactos, el porcentaje que devuelve la función será menor, pero lo suficientemente alto como para decir que las frases son similares

Considere si desea aplicar Levenshtein en un archivo completo o solo una cadena de búsqueda - no estoy seguro acerca de Levenshtein, pero el algoritmo debe aplicarse al archivo como un todo. Sin embargo, será una cadena muy larga.

Answer 1

algoritmo Levenshtein: http://en.wikipedia.org/wiki/Levenshtein_distance

Cualquier cosa que no sea un resultado de cero significa que el texto no son "idénticas". "Similar" es una medida de cuán lejos/cerca están. El resultado es un número entero.

Answer 2

Eche un vistazo a approximate grep. Puede darte indicaciones, aunque es casi seguro que realizar abysmally en grandes trozos de texto como si estuvieras hablando.

EDIT: La versión original de agrep no es de código abierto, lo que podría tener enlaces a versiones de Sistemas Operativos de http://en.wikipedia.org/wiki/Agrep

Answer 3

Usted está esperando demasiado aquí, parece que tendría que escribir una función de tus necesidades específicas Recomendaría comenzar con una aplicación de comparación de archivos existente (tal vez diff ya tiene todo lo que necesita) y mejorarla para proporcionar buenos resultados para su entrada.

Answer 4

Para el problema que ha descrito (por ejemplo, grandes cadenas), puede usar Cosine Similarity, que devuelve un número entre 0 (completamente diferente) a 1 (idéntico), base en los vectores term frequency.

Es posible que desee mirar a varias implementaciones que se describen aquí: Cosine Similarity

Answer 5

hay muchas alternativas a la distancia Levenshtein. Por ejemplo, el Jaro-Winkler distance.

La elección de tal algoritmo es en función de la lengua, el tipo de palabras, son las palabras introducidas por humanos y muchos más ...

Here you find a helpful implementation of several algorithms within one library