¿Cómo construir un rastreador web basado en Scrapy para que funcione para siempre?

Question

Quiero construir un rastreador web basado en Scrapy para capturar imágenes de noticias de varios sitios web del portal de noticias. Quiero este rastreador ser:

1. Ejecutar siempre

   significa que será la publicación periódica volver a visitar algunas páginas del portal para obtener actualizaciones.

2. Programar las prioridades.

   Asigne diferentes prioridades a diferentes tipos de URL.

3. Tema Multi traiga

He leído el documento Scrapy pero no he encontrado algo relacionado con lo que hice una lista (tal vez no soy lo suficientemente cuidadoso). ¿Hay alguien aquí que sepa cómo hacer eso? o simplemente da una idea/ejemplo al respecto. ¡Gracias!

Answer 1

Scrapy es un marco para el rastreo de sitios web, como tal, está destinado a respaldar sus criterios, pero no lo va a bailar para usted de la caja; es probable que deba familiarizarse relativamente con el módulo para algunas tareas.

1. Correr para siempre depende de su aplicación que llame a Scrapy. Usted le dice al the spiders dónde ir y cuándo ir allí.
2. Dar prioridad es el trabajo de Scheduler middleware que debe crear y conectar a Scrapy. La documentación sobre esto parece irregular y no he mirado el código; en principio, la función está ahí.
3. Scrapy es inherentemente, fundamentally asynchronous que bien puede ser lo que está buscando: la solicitud B puede cumplirse mientras la solicitud A todavía está pendiente. El motor de conexión subyacente no le impide bona fide multi-threading, pero Scrapy no proporciona servicios de subprocesamiento.

Scrapy es una biblioteca, no una aplicación. Existe una cantidad de trabajo no trivial (código) que un usuario del módulo debe realizar.

Answer 2

Acerca del requisito de ejecución para siempre, aquí hay algunos detalles.

Necesita capturar la señal signals.spider_idle, y en su método que conectado a la señal, necesita generar una excepción DontCloseSpider. La señal spider_idle se envía al motor de scrapy cuando no hay solicitudes pendientes, y por defecto la araña se apagará. Usted puede interceptar este proceso.

ver los códigos soplan:

import scrapy 
from scrapy.exceptions import DontCloseSpider 
from scrapy.xlib.pydispatch import dispatcher 

class FooSpider(scrapy.Spider): 
    def __init__(self, *args, **kwargs): 
     super(FooSpider, self).__init__(*args, **kwargs) 
     dispatcher.connect(self.spider_idle, signals.spider_idle) 

    def spider_idle(self): 
     #you can revisit your portal urls in this method 
     raise DontCloseSpider