scrapy

5El calor

1Respuesta

Intentando instalar Scrapy - error: No se pudo encontrar 'openssl.exe'

¿Alguna idea sobre cómo solucionar este problema? Estoy usando pip para instalar Scrapy en una máquina Win XP Pro SP 3. Tengo Python 2.7 instalado en la máquina. Parece que hay un problema con pyOpenS

8El calor

2Respuesta

Combinando url base con href resultante en scrapy

a continuación es mi código de araña, class Blurb2Spider(BaseSpider): name = "blurb2" allowed_domains = ["www.domain.com"] def start_requests(self): yield self.make_requests_fro

9El calor

2Respuesta

Ejecutar múltiples arañas de scrapy a la vez usando scrapyd

Estoy usando scrapy para un proyecto en el que quiero raspar varios sitios, posiblemente cientos, y tengo que escribir una araña específica para cada sitio. Puedo programar una araña en un proyecto de

16El calor

3Respuesta

raspando el archivo con html guardado en el sistema local

Por ejemplo, tuve un sitio "www.example.com" En realidad, quiero raspar el html de este sitio guardando en el sistema local. por lo que para las pruebas AHORRÉ la página en mi escritorio como example.

5El calor

1Respuesta

Acerca del modelo de simultaneidad de scrapy

Ahora planeo usar scrapy en un enfoque más distribuido, y no estoy seguro si las arañas/tuberías/descargadores/programadores y el motor son todos alojados en procesos o hilos separados, ¿podría alguie

7El calor

4Respuesta

Ejecución de arañas múltiples en scrapy

En scrapy, por ejemplo, si tenía dos URL que contienen HTML diferente. Ahora quiero escribir dos arañas individuales para cada una y quiero ejecutar ambas arañas a la vez. En scrapy es posible ejecuta

11El calor

1Respuesta

Arrastrando LinkedIn mientras estaba autenticado con Scrapy

Así que leí el Crawling with an authenticated session in Scrapy y me estoy colgando, estoy 99% seguro de que mi código de análisis es correcto, simplemente no creo que el inicio de sesión sea redirigi

8El calor

3Respuesta

Capturar códigos de estado http con scrapy spider

Soy nuevo en scrapy. Estoy escribiendo una araña diseñada para verificar una larga lista de URL de los códigos de estado del servidor y, en su caso, a qué URL se los redirecciona. Es importante destac

9El calor

2Respuesta

cómo procesar todo tipo de excepción en un proyecto de scrapy, en errback y callback?

Actualmente estoy trabajando en un proyecto de raspador, que es muy importante para garantizar que TODAS las solicitudes se manejen correctamente, es decir, para registrar un error o guardar un result

5El calor

1Respuesta

Scrapy CrawlSpider: cómo acceder al elemento en diferentes niveles de análisis

Estoy rastreando un sitio web (solo dos niveles de profundidad), y quiero recopilar información de los sitios en ambos niveles. El problema con el que me estoy metiendo es que quiero completar los cam