web-crawler

5El calor

5Respuesta

¿Cómo configurar Robots.txt o Apache para permitir rastreadores solo a ciertas horas?

Como el tráfico se distribuye de manera desigual en 24 horas, me gustaría rechazar a los rastreadores durante las horas pico y permitir que pasen horas no ocupadas. ¿Hay un método para lograr esto? ed

7El calor

7Respuesta

¿Qué bibliotecas de crawlers web PHP están disponibles?

Estoy buscando algunos scripts de rastreadores web robustos y bien documentados de PHP. Tal vez un puerto PHP del proyecto Java - http://wiki.apache.org/nutch/NutchTutorial Estoy buscando versiones gr

9El calor

3Respuesta

Enlace a correos individuales en gmail

Quiero descargar todos los correos electrónicos en una cuenta de Gmail y también quiero obtener la URL única que abrirá el correo exacto en Gmail, por supuesto con autenticación. Intenté usar la bibli

6El calor

1Respuesta

Nutch: Invocar en Java, ¿no en la línea de comandos?

¿Estoy siendo grosero o realmente no hay forma de invocar Apache Nutch a través de un código Java programáticamente? ¿Dónde está la documentación (o una guía o tutorial) sobre cómo hacer esto? Google

16El calor

3Respuesta

¿Cómo evito que Bing inunde mi sitio con tráfico irregular?

Bingbot golpeará mi sitio bastante duro durante un par de horas cada día, y será extremadamente ligero durante el resto del tiempo. Me gustaría suavizar sus rastreos, reducir su límite de velocidad o

8El calor

5Respuesta

¿Cómo rastrear la información de Twitter tweet sin autenticación OAuth?

Estoy obligado a rastrear Twitter y analizar los tweets para obtener información. Pensé que la mejor manera sería usar la API de búsqueda, sin embargo, parece que ahora la API requiere la autenticació

5El calor

1Respuesta

guía para instalar crawler4j

Me gustaría configurar el rastreador para rastrear un sitio web, por ejemplo, blog, y buscarme solo los enlaces en el sitio web y pegar los enlaces dentro de un archivo de texto. ¿Me puede guiar paso

5El calor

3Respuesta

¿Cómo puedo verificar si una URL tiene un enlace en botw.org o no?

Estoy desarrollando una aplicación en la que debo verificar si existe un enlace en botw.org para una URL determinada. ¿Hay alguna API gratis disponible para verificar botw.org o cualquier otra fuente

6El calor

3Respuesta

trampas legales o éticas para el rastreador web?

Se me ha encomendado la tarea de automatizar la comparación de los inventarios de un cliente de varios escaparates web no relacionados. Estos escaparates no ofrecen API, por lo que estoy obligado a es

5El calor

6Respuesta

¿Es AJAX realmente SEO Friendly?

Ahora con Web 2.0, la tendencia es AJAX, existen muchos frameworks existentes en el mercado que promueven AJAX, pero ¿es AJAX realmente amigable con SEO?