robots.txt

11El calor

2Respuesta

Web Crawler: ¿Ignora el archivo Robots.txt?

Algunos servidores tienen un archivo robots.txt para evitar que los rastreadores web rastreen sus sitios web. ¿Hay alguna manera de hacer que un rastreador web ignore el archivo robots.txt? Estoy usan

5El calor

1Respuesta

archivo robotexto que apunta a un mapa del sitio local

Dentro de un archivo robots.txt, ¿sería posible utilizar una ruta relativa en lugar de una absoluta para señalar un Mapa del sitio? Sitemap: http://www.example.com/sitemap.xml lugar: Sitemap: sitema

14El calor

3Respuesta

¿Cómo evitar que los motores de búsqueda rastreen todo el sitio web?

Quiero evitar que los motores de búsqueda rastreen todo mi sitio web. Tengo una aplicación web para que utilicen los miembros de una empresa. Está alojado en un servidor web para que los empleados de

5El calor

1Respuesta

YQL "redirige a una URL restringida robots.txt" Error de Google de dominio

estoy usando YQL consola y quiero devolver resultados de esta link in Google Shopping Utilizando el siguiente en YQL: select content from html where url="www.google.com/products/seller?hl=en&q=burkett

9El calor

6Respuesta

¿Cómo hacer una URL privada?

Quiero crear una URL privada como http://domain.com/content.php?secret_token=XXXXX Entonces, sólo los visitantes que tienen la misma dirección URL (por ejemplo, recibida por correo electrónico) pued

14El calor

1Respuesta

Sintaxis de Robots.txt no entendida

Envié mi archivo robots.txt hace años a Google y todavía me da una sintaxis no comprendida para la primera línea. Después de buscar en Google, el problema más común es que Google agregue un '?' al com

8El calor

1Respuesta

¿Alguna razón para no hacer un 301 en favicon.ico, apple-touch-icon y robots.txt?

Me gustaría redirigir las solicitudes de estos recursos a mi CDN. ¿Hay alguna razón para no hacer esto?

7El calor

1Respuesta

cómo restringir el sitio para que no se indexe

Sé que esta pregunta se hizo muchas veces, pero quiero ser más específico. Tengo un dominio de desarrollo y moví el sitio allí a una subcarpeta. Digamos que a partir de: http://www.example.com/ Para

15El calor

1Respuesta

Sirviendo sitemap.xml y robots.txt con Spring MVC

¿Cuál es la mejor forma de servidor sitemap.xml y robots.txt con Spring MVC? Quiero servidores estos archivos a través de Controller de la manera más limpia.

12El calor

3Respuesta

Robots.txt Permitir subcarpeta pero no la primaria

¿Alguien puede explicar el comando Robots.txt correcto para la siguiente situación? me gustaría permitir el acceso a: /directorio/subdirectorio/.. Pero también me gustaría para restringir el acceso a