Descargar archivo grande con node.js evitando el alto consumo de memoria

Question

Estoy tratando de crear un programa de descarga de archivos como un servicio en segundo plano, pero cuando se programa un archivo grande, primero se guarda en la memoria y luego, al final de la descarga el archivo se escribe en el disco.

¿Cómo puedo hacer que el archivo se escriba gradualmente en el disco conservando la memoria teniendo en cuenta que puedo tener muchos archivos que se descargan al mismo tiempo?

Aquí está el código de `m usando:

var sys = require("sys"), 
    http = require("http"), 
    url = require("url"), 
    path = require("path"), 
    fs = require("fs"), 
    events = require("events"); 

var downloadfile = "http://nodejs.org/dist/node-v0.2.6.tar.gz"; 

var host = url.parse(downloadfile).hostname 
var filename = url.parse(downloadfile).pathname.split("/").pop() 

var theurl = http.createClient(80, host); 
var requestUrl = downloadfile; 
sys.puts("Downloading file: " + filename); 
sys.puts("Before download request"); 
var request = theurl.request('GET', requestUrl, {"host": host}); 
request.end(); 

var dlprogress = 0; 


setInterval(function() { 
    sys.puts("Download progress: " + dlprogress + " bytes"); 
}, 1000); 


request.addListener('response', function (response) { 
    response.setEncoding('binary') 
    sys.puts("File size: " + response.headers['content-length'] + " bytes.") 
    var body = ''; 
    response.addListener('data', function (chunk) { 
     dlprogress += chunk.length; 
     body += chunk; 
    }); 
    response.addListener("end", function() { 
     fs.writeFileSync(filename, body, 'binary'); 
     sys.puts("After download finished"); 
    }); 

}); 

Answer 1

me cambió la devolución de llamada a:

request.addListener('response', function (response) { 
     var downloadfile = fs.createWriteStream(filename, {'flags': 'a'}); 
     sys.puts("File size " + filename + ": " + response.headers['content-length'] + " bytes."); 
     response.addListener('data', function (chunk) { 
      dlprogress += chunk.length; 
      downloadfile.write(chunk, encoding='binary'); 
     }); 
     response.addListener("end", function() { 
      downloadfile.end(); 
      sys.puts("Finished downloading " + filename); 
     }); 

    }); 

Esto funcionó a la perfección.

Answer 2

En lugar de mantener el contenido en la memoria en el oyente "data" caso se debe escribir en el fichero en modo append.

Answer 3

Al descargar archivos de gran tamaño, utilice fs.write y no writeFile ya que anulará el contenido anterior.

function downloadfile(res) { 
    var requestserver = http.request(options, function(r) { 
     console.log('STATUS: ' + r.statusCode); 
     console.log('HEADERS: ' + JSON.stringify(r.headers)); 

     var fd = fs.openSync('sai.tar.gz', 'w'); 

     r.on('data', function (chunk) { 
      size += chunk.length; 
      console.log(size+'bytes received'); 
      sendstatus(res,size); 
      fs.write(fd, chunk, 0, chunk.length, null, function(er, written) { 
      }); 
     }); 
     r.on('end',function(){ 
      console.log('\nended from server'); 
      fs.closeSync(fd); 
      sendendstatus(res); 
     }); 
    }); 
} 

Answer 4

¿El paquete de solicitud funciona para sus usos?

Te permite hacer cosas como esta:

request(downloadurl).pipe(fs.createWriteStream(downloadtohere)) 

Answer 5

Use corrientes como Carter Cole sugirieron. Aquí está un ejemplo más completo

var inspect = require('eyespect').inspector(); 
var request = require('request'); 
var filed = require('filed'); 
var temp = require('temp'); 
var downloadURL = 'http://upload.wikimedia.org/wikipedia/commons/e/ec/Hazard_Creek_Kayaker.JPG'; 
var downloadPath = temp.path({prefix: 'singlePageRaw', suffix: '.jpg'}); 

var downloadFile = filed(downloadPath); 
var r = request(downloadURL).pipe(downloadFile); 


r.on('data', function(data) { 
    inspect('binary data received'); 
}); 
downloadFile.on('end', function() { 
    inspect(downloadPath, 'file downloaded to path'); 
}); 

downloadFile.on('error', function (err) { 
    inspect(err, 'error downloading file'); 
}); 

Es posible que tenga que instalar módulos que se pueden hacer a través de npm install filed request eyespect temp

Answer 6

Tome un vistazo a http-request:

// shorthand syntax, buffered response 
http.get('http://localhost/get', function (err, res) { 
    if (err) throw err; 
    console.log(res.code, res.headers, res.buffer.toString()); 
}); 

// save the response to 'myfile.bin' with a progress callback 
http.get({ 
    url: 'http://localhost/get', 
    progress: function (current, total) { 
     console.log('downloaded %d bytes from %d', current, total); 
    } 
}, 'myfile.bin', function (err, res) { 
    if (err) throw err; 
    console.log(res.code, res.headers, res.file); 
});