Tengo un sitio con el siguiente archivo robots.txt en la raíz:Googlebots ¿Ignoras el archivo robots.txt?
User-agent: *
Disabled:/
User-agent: Googlebot
Disabled:/
User-agent: Googlebot-Image
Disallow:/
Y las páginas de este sitio están siendo analizados por Googlebots durante todo el día. ¿Hay algún problema con mi archivo o con Google?
Debe ser Disallow:, no Disabled:.
Google tiene una herramienta de análisis para el control de las entradas de robots.txt, read about it here
También puede ser que desee comprobar las direcciones IP de los robots "delincuentes" a ver si realmente son propiedad de Google.
Tal vez dan la Google robots.txt checker una oportunidad
También creo que el robot va por la página y toma la primera directiva que se aplica a ella. En su caso, Googlebot y Googlebot-Image nunca verían sus directivas específicas porque respetarían primero el "User-Agent: *".
No tenga en cuenta esta respuesta. Encontré información que indica que este no es el caso. El bot debería encontrar la directiva específica para él y respetarlo
Aaargh, soy un idiota. Gracias. –