robots.txt

19El calor

9Respuesta

¿Es mejor usar las metaetiquetas * o el archivo robots.txt para informar a las arañas/rastreadores que incluyan o excluyan una página? ¿Hay algún problema al usar las metaetiquetas y el archivo robots

5El calor

3Respuesta

asterisco en robots.txt

siguiente pregunta si va a trabajar para Google en robots.txt Disallow: /*.action necesito para excluir todas las URL que acaben en .action. ¿Es esto correcto?

5El calor

3Respuesta

¿Cuál es el mejor lenguaje de programación para escribir un bot web?

Quiero saber qué lenguaje de programación proporciona una buena cantidad de bibliotecas para programar un bot web? Algo así como rastrear una página web para obtener datos. Digamos que quiero buscar e

5El calor

5Respuesta

BOT/Trampa de arañas Ideas

Tengo un cliente cuyo dominio parece ser golpeado bastante duro por lo que parece ser un DDoS. En los registros, se trata de agentes de usuario de aspecto normal con direcciones IP aleatorias, pero es

5El calor

1Respuesta

Robots.txt No permitir ciertos nombres de carpeta

Quiero impedir que los robots rastreen cualquier carpeta, en cualquier posición en la url con el nombre: this-folder. ejemplos a no permitir: http://mysite.com/this-folder/ http://mysite.com/houses/t

7El calor

3Respuesta

robots.txt parser java

Quiero saber cómo analizar el archivo robots.txt en java. ¿Hay algún código?

9El calor

3Respuesta

Sitemap para un sitio con un gran número de subdominios dinámicos

Estoy ejecutando un sitio que permite a los usuarios crear subdominios. Me gustaría enviar estos subdominios de usuario a los motores de búsqueda a través de sitemaps. Sin embargo, de acuerdo con el p

5El calor

5Respuesta

¿Cómo configurar Robots.txt o Apache para permitir rastreadores solo a ciertas horas?

Como el tráfico se distribuye de manera desigual en 24 horas, me gustaría rechazar a los rastreadores durante las horas pico y permitir que pasen horas no ocupadas. ¿Hay un método para lograr esto? ed

5El calor

1Respuesta

Robots.txt, no permitir URL en varios idiomas

Tengo una página pública que no se supone que los usuarios puedan iniciar sesión. Así que tengo una url a la que no hay ningún enlace y debes ingresarla manualmente y luego iniciar sesión. Sin embargo

30El calor

3Respuesta

Multiple Sitemap: entradas en robots.txt?

He estado buscando por Google pero no puedo encontrar la respuesta a esta pregunta. Un archivo robots.txt puede contener la siguiente línea: Sitemap: http://www.mysite.com/sitemapindex.xml pero es p