web-crawler

10El calor

4Respuesta

¿Los rastreadores web modernos usan el evento click o navegan directamente a href en etiquetas de anclaje?

Estoy construyendo un sitio web que quiero que se parezca a los usuarios, pero quiero que los rastreadores web sigan pudiendo navegar correctamente. tengo el siguiente código de ancla: <a class="overr

5El calor

2Respuesta

Nutch no rastrea todos los eslabones de forma

tengo un problema que se arrastra a mi sitio ... hay un formulario con dos listas desplegables .... y cuando empiece a gatear, el rastreador solamente sacan parte de enlaces de forma .... desde la pri

5El calor

1Respuesta

Cómo asegurarse de que el rastreador web funciona para el sitio alojado en AWS S3 y utiliza AJAX

La guía del webmaster de Google explica que el servidor web debe manejar las solicitudes de url que contienen _escaped_fragment_ (El rastreador modifica www.example.com/ajax.html#!mystate a www.exampl

8El calor

2Respuesta

rastrear página web dinámica usando htmlunit

Estoy rastreando datos usando HtmlUnit desde una página web dinámica, que utiliza desplazamiento infinito para buscar datos dinámicamente, al igual que el suministro de noticias de Facebook. He utiliz

8El calor

3Respuesta

Scrapy - Seleccione un enlace específico basado en el texto

Esto debería ser fácil pero estoy atascado. <div class="paginationControl"> <a href="/en/overview/0-All_manufactures/0-All_models.html?page=2&powerunit=2">Link Text 2</a> | <a href="/en/

8El calor

1Respuesta

Descargando todos los archivos pdf de los resultados de búsqueda de Google Scholar utilizando wget

Me gustaría escribir una araña web simple o simplemente usar wget para descargar los resultados de pdf de google scholar. Esa sería en realidad una manera bastante amplia de obtener documentos para in

6El calor

1Respuesta

Establecer el valor de un campo de selección utilizando solo la etiqueta de la opción, no su valor directo, al escribir una prueba funcional en Symfony2

Al escribir pruebas funcionales, ¿cómo puedo establecer el valor de un cuadro de selección si solo tengo la etiqueta de la opción Quiero, pero no el valor real?

5El calor

1Respuesta

JTidy o Jsoup para Java

Recientemente he estado desarrollando raspadores web en python con BeautifulSoup. Ahora quiero saber qué bibliotecas son las más preferidas en Java. He hecho una búsqueda, sobre todo veo JTidy y JSoup

11El calor

1Respuesta

Cómo imprimir fuente html a la consola con phantomjs

Acabo de descargar e instalar phantomjs en mi máquina. Copio y pegar el siguiente script en un archivo llamado hello.js: var page = require('webpage').create(); var url = 'https://www.google.com' p

35El calor

4Respuesta

cómo filtrar las solicitudes duplicadas en función de url en scrapy

Estoy escribiendo una secuencia de comandos para un sitio web utilizando scrapy con CrawlSpider. Scrapy proporciona un filtro integrado de solicitud de duplicados que filtra solicitudes duplicadas bas