¿Cómo generar start_urls dinámicamente en el rastreo?

Estoy rastreando un sitio, que puede contener muchas start_urls como http://www.a.com/list_1_2_3.htm.¿Cómo generar start_urls dinámicamente en el rastreo?

Quiero poblar start_urls como [List_ \ d + \ d + \ d + .htm], y extraer los elementos de urls como [node_ \ d +] .htm durante el rastreo.

¿Puedo usar CrawlSpider para realizar esta función? ¿Y cómo puedo generar start_urls de forma dinámica en el rastreo?

¡Muchas gracias!

Fuente

2012-02-17 user1215269

http: // stackoverflow .com/q/8798235/ – warvariuc

Más información en start_requests http://doc.scrapy.org/en/latest/topics/spiders.html#scrapy.spiders.Spider. start_requests – briankip

Hay dos preguntas:

1) sí se puede realizar esta funcionalidad mediante el uso de reglas por ejemplo,

rules =(Rule(SgmlLinkExtractor(allow = ('node_\d+.htm')) ,callback = 'parse'))

suggested reading

2) sí se puede generar start_urls dinámicamente, start_urls es una

lista

por ejemplo >>> start_urls = ['http://www.a.com/%d_%d_%d' %(n,n+1,n+2) for n in range(0, 26)]

>>> start_urls 

['http://www.a.com/0_1_2', 'http://www.a.com/1_2_3', 'http://www.a.com/2_3_4', 'http://www.a.com/3_4_5', 'http://www.a.com/4_5_6', 'http://www.a.com/5_6_7', 'http://www.a.com/6_7_8', 'http://www.a.com/7_8_9', 'http://www.a.com/8_9_10','http://www.a.com/9_10_11', 'http://www.a.com/10_11_12', 'http://www.a.com/11_12_13', 'http://www.a.com/12_13_14', 'http://www.a.com/13_14_15', 'http://www.a.com/14_15_16', 'http://www.a.com/15_16_17', 'http://www.a.com/16_17_18', 'http://www.a.com/17_18_19', 'http://www.a.com/18_19_20', 'http://www.a.com/19_20_21', 'http://www.a.com/20_21_22', 'http://www.a.com/21_22_23', 'http://www.a.com/22_23_24', 'http://www.a.com/23_24_25', 'http://www.a.com/24_25_26', 'http://www.a.com/25_26_27']

Fuente

2012-02-17 07:32:48

Gracias por las respuestas. Pero quiero generar las start_urls durante el rastreo: cuando encuentro una URL como 'http://www.a.com/%d_%d_%d', la agrego a start_urls. No puedo confirmar el rango de start_urls al principio ... – user1215269

por lo que sé, scrapy add start_urls Solicitudes en el planificador al inicio del rastreo si agrega cualquier url en la lista de start_urls durante el rastreo que no se ejecutará. –

La mejor manera de generar URL dinámicamente es reemplazar el método 'start_requests' de la araña:

from scrapy.http.request import Request 

def start_requests(self): 
     with open('urls.txt, 'rb') as urls: 
      for url in urls: 
       yield Request(url, self.parse)

Fuente

2012-04-30 06:35:47 juraseg

¿Cómo generar start_urls dinámicamente en el rastreo?

Respuesta

Cuestiones relacionadas