Asp.net Request.Browser.Crawler - Dynamic Crawler List?

Question

He aprendido por qué Request.Browser.Crawler siempre es falso en C# (http://www.digcode.com/default.aspx?page=ed51cde3-d979-4daf-afae-fa6192562ea9&article=bc3a7a4f-f53e-4f88-8e9c-c9337f6c05a0).

¿Alguien usa algún método para actualizar dinámicamente la lista del rastreador, entonces Request.Browser.Crawler será realmente útil?

Answer 1

he sido feliz los resultados suministrados por los Ocean's Browsercaps. Admite rastreadores que los archivos de configuración de Microsoft no se han molestado en detectar. Incluso analizará qué versión del rastreador está en su sitio, no es que realmente necesite ese nivel de detalle.

Answer 2

Puede marcar (regex) contra Request.UserAgent.

Peter Bromberg escribió un buen artículo sobre cómo escribir un ASP.NET Request Logger and Crawler Killer en ASP.NET.

Aquí es el método que utiliza en su clase Logger:

public static bool IsCrawler(HttpRequest request) 
{ 
    // set next line to "bool isCrawler = false; to use this to deny certain bots 
    bool isCrawler = request.Browser.Crawler; 
    // Microsoft doesn't properly detect several crawlers 
    if (!isCrawler) 
    { 
     // put any additional known crawlers in the Regex below 
     // you can also use this list to deny certain bots instead, if desired: 
     // just set bool isCrawler = false; for first line in method 
     // and only have the ones you want to deny in the following Regex list 
     Regex regEx = new Regex("Slurp|slurp|ask|Ask|Teoma|teoma"); 
     isCrawler = regEx.Match(request.UserAgent).Success; 
    } 
    return isCrawler; 
}