Pregunta simple. Quiero añadir:Robots.txt: ¿Es válida esta regla de comodín?
Disallow */*details-print/
Básicamente, las reglas de bloqueo en forma de /foo/bar/dynamic-details-print
--- foo y bar en este ejemplo puede también ser totalmente dinámico.
pensé que esto sería sencillo, pero luego en www.robotstxt.org existe este mensaje:
Tenga en cuenta también que se estaban utilizando comodines y expresiones regulares no son compatibles, ya sea en el user-agent o no permitir líneas. El '*' en el campo User-agent es un valor especial que significa "cualquier robot". Específicamente, no puede tener líneas como "Usuario-agente: bot", "No permitir:/tmp/*" o "No permitir: * .gif".
Así que no podemos hacer eso? ¿Los motores de búsqueda lo cumplen? Pero entonces, hay Quora.com's robots.txt archivo:
Disallow: /ajax/
Disallow: /*/log
Disallow: /*/rss
Disallow: /*_POST
Entonces, ¿quién tiene razón - o estoy entendiendo mal el texto en robotstxt.org?
Gracias!
Gracias, exactamente lo que estaba buscando. Aclamaciones – Bartek