robots.txt

5El calor

5Respuesta

¿Debo deshacerme de los robots que visitan mi sitio?

He notado en mis rastreadores que los bots visitan mi sitio ALOT. ¿Debo cambiar o editar mi archivo robots.txt o cambiar algo? No estoy seguro si eso es bueno, porque están indexando o qué?

6El calor

3Respuesta

Alguien tiene ningún código C# para analizar y evaluar las URL robots.txt contra ella

pregunta corta: Alguien tiene ningún código C# para analizar robots.txt y luego evaluar las URL en contra de ella por lo que ver si serían excluidos o no. largo pregunta: He sido la creación de un map

6El calor

4Respuesta

Googlebot no respeta Robots.txt

Por alguna razón, cuando consulto el "Análisis de robots.txt" de la Herramienta para webmasters de Google para ver qué direcciones URL están bloqueadas por nuestro archivo robots.txt, no es lo que est

7El calor

2Respuesta

cómo no permitir todas las direcciones URL dinámicas robots.txt

cómo no permitir todas las direcciones URL dinámicas en robots.txt Disallow: /?q=admin/ Disallow: /?q=aggregator/ Disallow: /?q=comment/reply/ Disallow: /?q=contact/ Disallow: /?q=logout/ Disallo

8El calor

4Respuesta

Googlebots ¿Ignoras el archivo robots.txt?

Tengo un sitio con el siguiente archivo robots.txt en la raíz: User-agent: * Disabled:/ User-agent: Googlebot Disabled:/ User-agent: Googlebot-Image Disallow:/ Y las páginas de este sitio están

5El calor

5Respuesta

robots.txt: deshabilitar todos menos unos pocos, ¿por qué no?

He estado pensando un tiempo acerca de no permitir que todos los rastreadores excepto Ask, Google, Microsoft y Yahoo! de mi sitio. El razonamiento detrás de esto es que nunca he visto ningún tráfico g

5El calor

3Respuesta

¿Cómo modifico robots.txt en Plone?

Tengo un sitio de Plone que administro y me gustaría agregar algunas páginas al No permitir un archivo robots.txt. Parece que Plone genera automáticamente un archivo robots.txt. No puedo encontrar nin

18El calor

3Respuesta

Robots.txt: permitir solo mayor SE

¿Hay alguna manera de configurar el archivo robots.txt para que el sitio acepte visitas ÚNICAMENTE desde Google, Yahoo! y arañas MSN?

18El calor

6Respuesta

¿Cómo configuro nginx para redirigir a una url para robots.txt y sitemap.xml

Estoy ejecutando nginx 0.6.32 como un proxy de front-end para couchdb. Tengo mi robots.txt en la base de datos, accesible como http://www.example.com/prod/_design/mydesign/robots.txt. También tengo mi

9El calor

5Respuesta

¿Cómo se permite a los rastreadores acceder a index.php únicamente, utilizando robots.txt?

Si solo quiero permitir que los rastreadores accedan a index.php, ¿funcionará? User-agent: * Disallow:/ Allow: /index.php