scrapyd

9El calor

2Respuesta

Ejecutar múltiples arañas de scrapy a la vez usando scrapyd

Estoy usando scrapy para un proyecto en el que quiero raspar varios sitios, posiblemente cientos, y tengo que escribir una araña específica para cada sitio. Puedo programar una araña en un proyecto de

8El calor

2Respuesta

Valor de Scrapyd jobid dentro de la araña

Framework Scrapy - Servidor de Scrapyd. Tengo algún problema para obtener el valor de jobid dentro de la araña. Después datos de envío a http://localhost:6800/schedule.json la respuesta es status = ok

6El calor

2Respuesta

Scrap 's Scrapyd demasiado lento con las arañas de programación

Estoy ejecutando Scrapyd y encuentro un problema extraño al lanzar 4 arañas al mismo tiempo. 2012-02-06 15:27:17+0100 [HTTPChannel,0,127.0.0.1] 127.0.0.1 - - [06/Feb/2012:14:27:16 +0000] "POST /schedu

7El calor

4Respuesta

error al implementar un proyecto utilizando scrapyd

Tenía varias arañas en mi carpeta de proyecto y quería ejecutar todas las arañas a la vez, así que decidí ejecutarlas utilizando el servicio scrapyd. he comenzado a hacerlo al ver here En primer lugar