¿Cómo puedo configurar esto? He escrito handle_httpstatus_list = [301, 302, 303], pero scrapy no sigue los nuevos enlaces, simplemente ha comenzado a guardar archivos vacíos de páginas.Siga los enlaces de redirección en scrapy
P.S. El inglés no es mi lengua materna Excúsame por eso.
También deberá mencionar dont_redirect = true en su solicitud como:
meta = {'dont_redirect': True, "handle_httpstatus_list" : [301, 302, 303]}
Saludos
Scrapy hace manejar las redirecciones de forma predeterminada, lo que significa que el RedirectMiddleware se activa en la configuración DOWNLOADER_MIDDLEWARES y el ajuste REDIRECT_ENABLED es establecido en True.
Muchas gracias, esto era justo lo que estaba buscando. Agregar el "handle_httpstatus_list" a las solicitudes individuales fue lo que hizo el truco. –