¿Debo crear una tubería para guardar archivos con scrapy?

Question

Necesito guardar un archivo (.pdf) pero no estoy seguro de cómo hacerlo. Necesito guardar .pdfs y almacenarlos de tal manera que estén organizados en un directorio de forma similar a como están almacenados en el sitio donde los estoy raspando.

Según lo que puedo deducir, necesito hacer una canalización, pero por lo que entiendo, las tuberías guardan "Artículos" y "Artículos" son solo datos básicos como cadenas/números. ¿Los archivos guardados son un uso adecuado de las tuberías, o debo guardar el archivo en spider en su lugar?

Answer 1

Sí y no [1]. Si busca un pdf, se almacenará en la memoria, pero si los pdfs no son lo suficientemente grandes como para llenar su memoria disponible, entonces está bien.

Se podría guardar el pdf en la devolución de llamada araña:

def parse_listing(self, response): 
    # ... extract pdf urls 
    for url in pdf_urls: 
     yield Request(url, callback=self.save_pdf) 

def save_pdf(self, response): 
    path = self.get_path(response.url) 
    with open(path, "wb") as f: 
     f.write(response.body) 

Si decide hacerlo en una tubería:

# in the spider 
def parse_pdf(self, response): 
    i = MyItem() 
    i['body'] = response.body 
    i['url'] = response.url 
    # you can add more metadata to the item 
    return i 

# in your pipeline 
def process_item(self, item, spider): 
    path = self.get_path(item['url']) 
    with open(path, "wb") as f: 
     f.write(item['body']) 
    # remove body and add path as reference 
    del item['body'] 
    item['path'] = path 
    # let item be processed by other pipelines. ie. db store 
    return item 

[1] Otro enfoque podría ser URL única tienda pdfs' y use otro proceso para buscar los documentos sin almacenarlos en la memoria. (Por ejemplo wget)

Answer 2

Es una herramienta perfecta para el trabajo. La forma en que funciona Scrapy es que tienes arañas que transforman páginas web en datos estructurados (elementos). Las tuberías son posprocesadores, pero usan la misma infraestructura asincrónica que las arañas, por lo que es perfecto para buscar archivos de medios.

En su caso, primero debe extraer la ubicación de los archivos PDF en spider, buscarlos en la canalización y tener otra tubería para guardar elementos.

Answer 3

Hay un FilesPipeline que se puede utilizar directamente, asumiendo que ya tiene la dirección URL del archivo, el enlace se muestra cómo utilizar FilesPipeline:

https://groups.google.com/forum/print/msg/scrapy-users/kzGHFjXywuY/O6PIhoT3thsJ