¿Cómo puedo hacer que scrapy se rompa y salga cuando encuentre la primera excepción?

Question

Para fines de desarrollo, me gustaría detener toda la actividad de rastreo de scrapy tan pronto se produzca una primera excepción (en una araña o una tubería).

¿Algún consejo?

Answer 1

es puramente depende de su lógica de negocio. pero esto va a funcionar para usted

crawler.engine.close_spider(self, 'log message') 

Suggested Reading

Suggested Reading

y la peor solución es

import sys 

sys.exit("SHUT DOWN EVERYTHING!") 

Answer 2

En la araña, puede simplemente tirar CloseSpider excepción.

def parse_page(self, response): 
    if 'Bandwidth exceeded' in response.body: 
     raise CloseSpider('bandwidth_exceeded') 

Para otros (middleware, tuberías, etc.), puede llamar manualmente close_spider como akhter mencionado.

Answer 3

Desde 0,11, no es CLOSESPIDER_ERRORCOUNT:

un número entero que especifica el número máximo de errores para recibir antes de cerrar la araña. Si la araña genera más que esa cantidad de errores, se cerrará con el motivo closespider_errorcount. Si es cero (o no establecido), las arañas no se cerrarán por el número de errores.

Si se establece en 1, la araña se cerrará en la primera excepción.