6
Después de leer y comentar esta pregunta PHP Library for Keeping your site index by Google, Bing, etc, tenía curiosidad por ver el sitemap de StackOverFlow. Esto devolvió un error 404 que supongo que es solo una página protegida al determinar si eres un Bot de índice o simplemente no existe.¿Por qué Yahoo Indexing Bot es considerado como "malvado"?
Esto me lleva a mirar el robots.txt para StackOverFlow. Me sorprendió ver el comentario "Yahoo bot is evil" junto con un par de otros bots de indexación (Spinn3r y KSCrawler). No soy familiar con Spinn3r y KSCrawler pero mi pregunta es, ¿por qué estos bots (Yahoo particular) se consideran malvados? Seguramente, cualquier indexación de cualquier motor de búsqueda es algo bueno.