robot

5El calor

4Respuesta

¿Cómo detengo los motores de búsqueda indexando una página de mantenimiento

Necesito configurar una página de mantenimiento para un sitio web que estoy ejecutando, p. para mostrar cuando estoy realizando el mantenimiento del sitio (tiempo de inactividad programado) o si algo

7El calor

2Respuesta

¿Hay algún juego de estilo CRobots que admita robots escritos en más de un idioma?

Hace muchos años, justo cuando empezaba a programar, me encontré con algunos juegos de programación al estilo de CRobots (no creo que realmente se tratara de CRobots, sino de una especie de clon) que

16El calor

6Respuesta

¿Qué es una buena herramienta Web Crawler?

Necesito indexar un montón de páginas web, ¿qué buenas utilidades webcrawler hay? Preferiblemente estoy buscando algo con lo que .NET pueda hablar, pero eso no es nada sensacional. Lo que realmente ne

8El calor

4Respuesta

Googlebots ¿Ignoras el archivo robots.txt?

Tengo un sitio con el siguiente archivo robots.txt en la raíz: User-agent: * Disabled:/ User-agent: Googlebot Disabled:/ User-agent: Googlebot-Image Disallow:/ Y las páginas de este sitio están