Dentro de un archivo robots.txt, ¿sería posible utilizar una ruta relativa en lugar de una absoluta para señalar un Mapa del sitio?archivo robotexto que apunta a un mapa del sitio local
Sitemap: http://www.example.com/sitemap.xml
lugar:
Sitemap: sitemap.xml
nota Curiose SO robots.txt
#
# this technically isn't valid, since for some godforsaken reason
# sitemap paths must be ABSOLUTE and not relative.
#
Sitemap: /sitemap.xml
The official sitemap documentation muestra una URL completa en su ejemplo de incluir una referencia a una ubicación XML mapa del sitio.
Sitemap: http://www.example.com/sitemap-host1.xml
Sin embargo, no especifica si se debe utilizar una URL completa o una ruta absoluta. El archivo robots.txt de StackOverflow implica que se requiere una ruta absoluta y que tenían problemas cuando usaban una ruta relativa. Por lo tanto, probablemente sea mejor utilizar una URL completa o una ruta absoluta si quiere estar seguro de que los motores de búsqueda encuentran su mapa del sitio. Dado que esto es muy fácil de hacer, no veo ninguna razón por la cual deba usarse un pariente.
Gracias John por su respuesta. El motivo de mi pregunta es: uso un CMS personalizado que se puede usar para muchos sitios web. Necesito que el usuario tenga un archivo robots.txt completo y listo para usar con los parámetros adecuados sin tener que acceder al archivo robots.txt. Debido a que cada sitio tiene URL diferente, una ruta local sería una solución fácil. Entiendo su punto así que la mejor solución que creo sería escribir el archivo robots.txt pro gramaticalmente. – GibboK