robots.txt permite solo root, no permite todo lo demás?

Question

Parece que no puedo hacer que esto funcione, pero parece realmente básico.

Quiero la raíz del dominio que se desea rastrear

http://www.example.com 

Pero nada más que ser rastreadas y todos los subdirectorios son dinámicos

http://www.example.com/* 

me trataron

User-agent: * 
Allow:/
Disallow: /*/ 

pero el webmaster Google la herramienta de prueba dice que todos los subdirectorios están permitidos.

¿Alguien tiene una solución para esto? Gracias :)

Answer 1

User-agent: * 
Allow: index.html (or /index.php) 
Disallow:/

debería hacer la magia.

Answer 2

De acuerdo con las definiciones de análisis de Backus-Naur Form (BNF) en Google's robots.txt documentation, el orden de las directivas Allow y Disallow no es relevante. Así que cambiar el orden realmente no te ayudará.

En su lugar, debe utilizar el operador $ para indicar el cierre de su ruta.

Pruebe este robots.txt. Estoy seguro de que debe trabajar para usted (También he comprobado en GWT):

user-agent: * 
Allow: /$ 
Disallow:/

Esto permitirá http://www.example.com y http://www.example.com/ se rastree pero todo lo demás bloqueado.

nota: que la directiva Allow satisface su caso de uso particular, pero si usted tiene index.html o default.php, no será arrastrado estas URL.

nota al margen: Solo estoy muy familiarizado con el comportamiento de Googlebot y bingbot. Si hay otros motores a los que se dirige, pueden o no tener reglas específicas sobre cómo se enumeran las directivas. Entonces, si quiere estar "extra" seguro, siempre puede cambiar las posiciones de los bloques de directiva Allow y Disallow, solo los configuré para desacreditar algunos de los comentarios.

Answer 3

Cuando nos fijamos en las especificaciones de robots.txt de Google, se puede ver que:

Google, Bing, Yahoo y Ask apoyar una forma limitada de "comodines" para los valores de ruta.Estos son:

1. * designa 0 o más instancias de cualquier carácter válido
2. $ designa el final de la URL

ver https://developers.google.com/webmasters/control-crawl-index/docs/robots_txt?hl=en#example-path-matches

Entonces, como eywu dijo , la solución es

user-agent: * 
Allow: /$ 
Disallow:/