Uso de varias arañas en el proyecto en Scrapy

Question

Quiero saber si es posible usar varias arañas dentro del mismo proyecto juntas. En realidad necesito 2 arañas. El primero reúne los enlaces sobre los cuales debe arañar la segunda araña. Ambos trabajan en el mismo sitio web, por lo que el dominio es similar. ¿Es posible? Si es así, ¿puedes darme un ejemplo? Gracias

Answer 1

Tal vez esto es lo que está buscando:

def parse(self, response): 
    # parse the links (aka your first spider) 
    for link in hxs('//XPATH'): 
     yield Request(link.extract(), callback=self.parse_link) 

def parse_link(self, response): 
    # continue parsing (aka your second spider) 

esperanza que esta ayuda :)