scrapy

17El calor

3Respuesta

Instalación scrapy/pyOpenSSL en virtualenv Windows

Estoy tratando de install scrapy en Windows XP (32 bits) virtualenv: pip install scrapy El instalador escupe este mensaje de error ambiguo: error: Only found improper OpenSSL directories: ['E:\\cygw

6El calor

2Respuesta

Scrap 's Scrapyd demasiado lento con las arañas de programación

Estoy ejecutando Scrapyd y encuentro un problema extraño al lanzar 4 arañas al mismo tiempo. 2012-02-06 15:27:17+0100 [HTTPChannel,0,127.0.0.1] 127.0.0.1 - - [06/Feb/2012:14:27:16 +0000] "POST /schedu

22El calor

7Respuesta

scrapy codificación de texto

Aquí está mi araña from scrapy.contrib.spiders import CrawlSpider,Rule from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor from scrapy.selector import HtmlXPathSelector from vrisko.ite

20El calor

2Respuesta

¿Cómo generar start_urls dinámicamente en el rastreo?

Estoy rastreando un sitio, que puede contener muchas start_urls como http://www.a.com/list_1_2_3.htm. Quiero poblar start_urls como [List_ \ d + \ d + \ d + .htm], y extraer los elementos de urls como

17El calor

2Respuesta

Cookie de sesión de acceso en scrap spiders

Estoy intentando acceder a la cookie de sesión dentro de una araña. La primera vez que conecto a una red social utilizando en una araña: def parse(self, response): return [FormRequest.from_resp

31El calor

6Respuesta

¿Cómo se puede retrasar entre cada solicitud en scrapy?

No quiero rastrear simultáneamente y bloquearme. Me gustaría enviar una solicitud por segundo.

8El calor

1Respuesta

¿Cómo reintentar el enlace 404 que no se encuentra en scrapy?

Algunos sitios dan error 404 temporalmente. Pero pego en el navegador funciona. Cómo decirle a scrapy que reintente los enlaces de código de estado 404 5 veces.

7El calor

2Respuesta

Descarga de imágenes con scrapy

Estoy empezando con scrapy, y tengo el primer problema real. Está descargando imágenes. Entonces esta es mi araña. from scrapy.contrib.spiders import CrawlSpider, Rule from scrapy.selector import Htm

12El calor

1Respuesta

dynamic start_urls in scrapy

Estoy usando scrapy para rastrear varias páginas en un sitio. La variable start_urls se usa para definir las páginas que se rastrearán. Me gustaría empezar inicialmente con primera página, definiendo

7El calor

3Respuesta

Scrapy exportador personalizado

Estoy definiendo un exportador de elementos que empuja los artículos a una cola de mensajes. A continuación está el código. from scrapy.contrib.exporter import JsonLinesItemExporter from scrapy.utils