Problemas de memoria con HTTParty y descarga archivos de gran tamaño

Question

Esto causará problemas de memoria con Ruby. Sé que Open-URI escribe en un TempFile si el tamaño supera los 10 KB. ¿Pero intentará HTTParty guardar todo el PDF en la memoria antes de escribir en TempFile?

src = Tempfile.new("file.pdf") 
src.binmode 
src.write HTTParty.get("large_file.pdf").parsed_response 

Answer 1

Puede usar Net :: HTTP. Consulte the documentation (en particular, la sección titulada "Cuerpos de respuesta de transmisión").

Aquí está el ejemplo de los documentos:

uri = URI('http://example.com/large_file') 

Net::HTTP.start(uri.host, uri.port) do |http| 
    request = Net::HTTP::Get.new uri.request_uri 

    http.request request do |response| 
    open 'large_file', 'w' do |io| 
     response.read_body do |chunk| 
     io.write chunk 
     end 
    end 
    end 
end