2010-08-17 18 views
5

Quiero impedir que los robots rastreen cualquier carpeta, en cualquier posición en la url con el nombre: this-folder.Robots.txt No permitir ciertos nombres de carpeta

ejemplos a no permitir:

http://mysite.com/this-folder/ 
http://mysite.com/houses/this-folder/ 
http://mysite.com/some-other/this-folder/ 
http://mysite.com/no-robots/this-folder/ 

Este es mi intento:

Disallow: /.*this-folder/ 

¿Funcionará?

Respuesta

4

Oficialmente comodines y expresiones regulares no son compatibles:

http://www.robotstxt.org/robotstxt.html

pero al parecer algunos motores de búsqueda apoyar esto.

+0

OK, eso es lo que necesitaba saber. Gracias por el enlace, parece que mi Google está roto. –

Cuestiones relacionadas