Repetir una araña Scrapy en los datos almacenados

Question

he empezado a utilizar Scrapy para raspar unos pocos sitios web. Si posteriormente añade un nuevo campo al modelo o cambio mis funciones de análisis, me gustaría ser capaz de "reproducir" la conexión de datos en bruto descargado para raspar de nuevo. Parece que Scrapy tenía la capacidad de almacenar datos en bruto en un archivo de reproducción en un momento dado:

http://dev.scrapy.org/browser/scrapy/trunk/scrapy/command/commands/replay.py?rev=168

Pero esta funcionalidad parece haber sido eliminado en la versión actual de Scrapy. ¿Hay alguna otra manera de lograr esto?

Answer 1

Si ejecuta crawl --record=[cache.file] [scraper], podrás luego usar replay [scraper].

Alternativamente, se puede almacenar en caché todas las respuestas con el HttpCacheMiddleware incluyéndolo en DOWNLOADER_MIDDLEWARES:

DOWNLOADER_MIDDLEWARES = { 
    'scrapy.contrib.downloadermiddleware.httpcache.HttpCacheMiddleware': 300, 
} 

Si hace esto, cada vez que se ejecuta el raspador, se comprobará el sistema de archivos en primer lugar.

Answer 2

Puede activar HTTPCACHE_ENABLED como se ha dicho http://scrapy.readthedocs.org/en/latest/topics/downloader-middleware.html?highlight=FilesystemCacheStorage#httpcache-enabled

para almacenar en caché todas las solicitudes HTTP y la respuesta a implementar hoja de vida arrastrándose.

o tratar de Trabajo para una pausa y reanudar el rastreo http://scrapy.readthedocs.org/en/latest/topics/jobs.html