Cómo hacer que mi aplicación copie el archivo más rápido

Question

Tengo una aplicación de Windows que descarga el archivo de rutina del servidor de equilibrio de carga, actualmente la velocidad es de aproximadamente 30 MB/segundo. Sin embargo, intento usar FastCopy o TeraCopy que puede copiar a aproximadamente 100 MB/segundo. Quiero saber cómo mejorar mi velocidad de copia para que pueda copiar el archivo más rápido que en la actualidad.

Answer 1

Un error común al usar flujos es copiar un byte a la vez, o usar un pequeño búfer. La mayor parte del tiempo que se tarda en escribir datos en el disco se utiliza para buscar, por lo que usar un búfer más grande reducirá el tiempo promedio de búsqueda por byte.

Los sistemas operativos escriben archivos en el disco en clústeres. Esto significa que cuando escribe un solo byte en el disco, Windows escribirá un bloque entre 512 bytes y 64 kb de tamaño. Puede obtener un rendimiento de disco mucho mejor si utiliza un búfer que es un múltiplo entero de 64 kb.

Además, puede obtener un impulso del uso de un búfer que es un múltiplo de sus CPU subyacentes al tamaño de la página de memoria. Para máquinas x86/x64 esto se puede configurar a 4kb o 4mb.

Así que desea utilizar un número entero múltiplo de 4mb.

Además, si utiliza IO asíncrono puede aprovechar al máximo el tamaño de búfer grande.

class Downloader 
{ 
    const int size = 4096 * 1024; 
    ManualResetEvent done = new ManualResetEvent(false); 
    Socket socket; 
    Stream stream; 

    void InternalWrite(IAsyncResult ar) 
    { 
     var read = socket.EndReceive(ar); 
     if (read == size) 
      InternalRead(); 
     stream.Write((byte[])ar.AsyncState, 0, read); 
     if (read != size) 
      done.Set(); 
    } 

    void InternalRead() 
    { 
     var buffer = new byte[size]; 
     socket.BeginReceive(buffer, 0, size, System.Net.Sockets.SocketFlags.None, InternalWrite, buffer); 
    } 

    public bool Save(Socket socket, Stream stream) 
    { 
     this.socket = socket; 
     this.stream = stream; 

     InternalRead(); 
     return done.WaitOne(); 
    } 
} 

bool Save(System.Net.Sockets.Socket socket, string filename) 
{ 
    using (var stream = File.OpenWrite(filename)) 
    { 
     var downloader = new Downloader(); 
     return downloader.Save(socket, stream); 
    } 
} 

Answer 2

Posiblemente su aplicación puede hacer multi-threading para obtener el archivo con múltiples hilos, sin embargo, el ancho de banda está limitado a la velocidad de los dispositivos que transfieren el contenido

Answer 3

forma más sencilla es abrir el archivo en crudo/binaria modo (es que C no está seguro de cuál es el equivalente de C#) y lee y escribe bloques muy grandes (varios MB) a la vez.

Answer 4

El truco que utiliza TeraCopy es hacer que la lectura y la escritura sean asincrónicas. Esto significa que se puede escribir un bloque de datos mientras se lee otro.

Tienes que jugar con el número de bloques y el tamaño de esos bloques para obtener el óptimo para tu situación. Usé este método usando C++ y para nosotros el óptimo fue usar cuatro bloques de 256 KB cuando copiamos de un recurso compartido de red a un disco local.

Saludos,

Sebastiaan

Answer 5

Si ejecuta Process Monitor se puede ver los tamaños de bloque que el Explorador de Windows o TeraCopy está utilizando.

En Vista, el tamaño de bloque predeterminado para la red local es de 2 MB, lo que hace que copiar archivos a través de una tubería enorme sea mucho más rápido.

Answer 6

¿Por qué reinventar la rueda?

Si su situación lo permite, es probable que sea mejor desembolsar una de las utilidades de copia "rápidas" existentes que tratar de escribir una usted mismo. Hay numerosos casos extremos no obvios que deben manejarse, y obtener un buen rendimiento consistentemente requiere una gran cantidad de experimentación de error de final de prueba.