Bingbot golpeará mi sitio bastante duro durante un par de horas cada día, y será extremadamente ligero durante el resto del tiempo.¿Cómo evito que Bing inunde mi sitio con tráfico irregular?
Me gustaría suavizar sus rastreos, reducir su límite de velocidad o bloquearlo por completo. En realidad, no envía a ningún visitante real.
¿Hay alguna manera de que pueda suavizar su rastreo o limitar la velocidad?
Puede prohibir su IP utilizando HTACCESS.
order allow,deny
deny from 192.168.44.201
deny from 224.39.163.12
deny from 172.16.7.92
allow from all
Más sobre esto se puede encontrar aquí: Blog about bot blocking
esto tiene un mal efecto secundario: bajará su pagerank – knocte
Su webmaster blog dice que apoyan la adición de un parámetro de rastreo de retardo a su archivo robots.txt para estrangular el Bingbot.
User-agent: msnbot
Crawl-delay: 1
Hay un poco más de explicación en el webmaster FAQ PDF
Estas otros enlaces podría ser útil también:
http://www.bing.com/toolbox/webmasters
http://www.bing.com/community/webmaster/f/12252/t/651373.aspx
se puede limitar el número de conexiones desde el rastreador para F.I. 5 Con la creación de este tipo de IPTables (requiere acceso root en el servidor de seguridad):
la configuración de iptables: iptables -I ENTRADA -p tcp -m connlimit --connlimit anteriormente 5 -j REJECT
Esto limita las conexiones de cada dirección IP a no más de 5 conexiones simultáneas. Este tipo de conexiones de "raciones" impide que los rastreadores golpeen el sitio de forma simultánea.
Ya ha agregado robots.txt como una etiqueta. ¿Eso no te sirve de nada? – EboMike