Escribir el algoritmo de búsqueda de texto completo en C#/Entity Framework - ¿por dónde empezar?

Question

Necesito buscar una colección potencialmente grande de oraciones, y no tengo ni idea de dónde empezar.

En resumen, un usuario enviará una frase de búsqueda, por ejemplo, "cómo elimino mi cuenta", entonces tengo que ir a la base de datos y hacer una coincidencia con las palabras proporcionadas.

En este momento estoy pensando en hacer algo como lo siguiente: frase

• Split a palabras individuales
• eliminar palabras muy frecuentes (y, de ser, etc)
• orden alguna manera las palabras por prioridad (ni idea de cómo hacer esto aún)
• Usando bucle EF a través de palabras, haciendo un String.Contains en cada db registro y la palabra
• Si no hay resultados, eliminar algunas de la lO wer palabras prioritarias y búsqueda de nuevo
• Repita

¿Alguien podría apuntar en la dirección correcta? Además, si alguien conoce alguna biblioteca para hacer este tipo de trabajo, sería genial.

Saludos

Answer 1

En cuanto a la priorización palabras, una solución sencilla pero muy eficaz es que los clasifique por su popularidad (índice de popularidad tal vez se podría creen en función de artículos en su base de datos), por lo que las palabras que son raros en sus textos son más importantes, de esta forma puedes potenciar palabras que son menos generales.

Otro problema aquí es el hecho de que podría tener palabras en diferentes formas, como tiempo pasado/futuro, por lo tanto podría interesarle stemming, una herramienta que fue portada a C# es proyecto Snowball por lo que recuerdo .

En cuanto a hacer la segunda parte de su problema, recorrer las palabras puede ser muy ineficaz, creo que debería considerar el uso de algunas bibliotecas/soluciones de indexación. Uno, popular para .net es Lucene.Net. Básicamente crea un índice invertido, que asigna ciertas frases (como palabras) a los artículos que las contienen, lo que le permite encontrar rápidamente todas las ocurrencias de palabras en sus textos. Similar approach podría implementarse usted mismo dentro de su base de datos

Answer 2

Use SQL server full text search capability y envuelva la consulta utilizando la búsqueda de texto completo en el procedimiento almacenado. Ejecute el procedimiento almacenado a través de ADO.NET o EF.

Answer 3

En caso de que alguien se encuentre con esto y se pregunte qué usé al final, terminé usando Lucene.NET. Es fantástico, muy fácil de configurar y usar, teniendo en cuenta que es tan poderoso y agrega una gran funcionalidad. Sin embargo, una cosa que diría es que la documentación no es excelente. Sin embargo, encontré una serie de tutoriales here que es una buena introducción. Pasé una mañana repasando estos artículos y tuve una indexación/búsqueda de texto completo ridículamente rápida en mi aplicación.