Cómo construir un motor de búsqueda en C#

Question

Estoy tratando de crear una aplicación web en ASP.NET MVC y necesito crear una función de búsqueda bastante compleja. Cuando un usuario ingresa un término de búsqueda, quiero buscar en una variedad de fuentes de datos que incluyen documentos, tablas en la base de datos, URL de páginas web y algunas API como Facebook. Cualquier consejo, tutorial y consejos serían muy apreciados.

Answer 1

Su pregunta sugiere que probablemente no esté planeando implementar toda la característica desde cero, por lo que aquí hay algunos enlaces que pueden serle útiles.

• Uno (el más fácil)

  opción sería utilizar un motor de búsqueda de terceros (por ejemplo Google Custom Search, pero Bing probablemente tiene una API similar). Esto le permite buscar (solo) su página usando Google y mostrar los resultados de manera personalizada. La limitación es que solo busca los datos que se muestran en algunas páginas (vinculadas).

• Un enfoque más sofisticado es utilizar alguna biblioteca .NET que implemente indexación para usted (en función de los datos que le proporcione). Una biblioteca popular es, por ejemplo, Lucene.Net. En este caso, le proporciona los datos que desea buscar explícitamente (contenido relevante de páginas web, contenido de la base de datos, etc.), para que tenga más control de lo que se está buscando (pero es un poco más de trabajo).

Answer 2

Crear las estructuras y los algoritmos del índice de búsqueda real no es una hazaña trivial. Es por eso que las personas usan Lucene, Sphinx, Solr, etc. El uso de google.com, como se recomienda en los comentarios, no le dará control y una comparación deficiente en comparación con lo que obtendrá de uno de estos motores de búsqueda gratuitos, cuando esté configurado correctamente y usado.

Lo recomiendo echar un vistazo a Solr, que le da el poder de Lucene, pero es mucho más fácil de usar, además de que añade varias características de conveniencia como el almacenamiento en caché, sharding, facetado, etc.

SolrNet es un cliente Solr para .Net, tiene una aplicación ASP.NET MVC de muestra que puede usar para ver cómo funciona y como base para su proyecto.

Descargo de responsabilidad: soy el autor de SolrNet.

Answer 3

Escribí un motor de búsqueda personalizado para mi sitio MVC 4. Analiza los directorios Ver y lee todos los archivos .cshtml, que coinciden con los términos proporcionados con una expresión regular. Aquí está el código básico:

List<string> results = new List<string>(); 
     DirectoryInfo di = new DirectoryInfo(System.Configuration.ConfigurationManager.AppSettings["PathToSearchableViews"]); 
     //get all view directories except the shared 
     foreach (DirectoryInfo d in di.GetDirectories().Where(d=>d.Name != "Shared")) 
     { 
      //get all the .cshtml files 
      foreach (FileInfo fi in d.GetFiles().Where(e=>e.Extension == ".cshtml")) 
      { 
       //check if cshtml file and exclude partial pages 
       if (fi.Name.Substring(0,1) != "_") 
       { 
        MatchCollection matches; 
        bool foundMatch = false; 
        int matchCount = 0; 
        using (StreamReader sr = new StreamReader(fi.FullName)) 
        { 
         string file = sr.ReadToEnd(); 
         foreach (string word in terms) 
         { 
          Regex exp = new Regex("(?i)" + word.Trim() + "(?-i)"); 
          matches = exp.Matches(file); 
          if (matches.Count > 0) 
          { 
           foundMatch = true; 
           matchCount = matches.Count; 
          } 
         } 
         //check match count and create links 
         // 
         // 
        } 
       } 
      } 
     } 
     return results;