Cómo fusionar eficientemente archivos gigantescos con C#

Question

Tengo más de 125 archivos TSV de ~ 100Mb cada uno que deseo fusionar. La operación de fusión permite destruir los 125 archivos, pero no los datos. Lo que importa es que al final, termino con un gran archivo del contenido de todos los archivos uno después del otro (sin orden específico).

¿Hay una forma eficiente de hacerlo? Me preguntaba si Windows proporciona una API para simplemente hacer una gran "Unión" de todos esos archivos. De lo contrario, tendré que leer todos los archivos y escribir uno grande.

Gracias!

Answer 1

Entonces, ¿"fusionar" es simplemente escribir los archivos uno después del otro? Eso es bastante sencillo: solo abra una secuencia de salida, y luego abra repetidamente una secuencia de entrada, copie los datos, cierre. Por ejemplo:

static void ConcatenateFiles(string outputFile, params string[] inputFiles) 
{ 
    using (Stream output = File.OpenWrite(outputFile)) 
    { 
     foreach (string inputFile in inputFiles) 
     { 
      using (Stream input = File.OpenRead(inputFile)) 
      { 
       input.CopyTo(output); 
      } 
     } 
    } 
} 

que está utilizando el método Stream.CopyTo que es nuevo en .NET 4. Si no está utilizando .NET 4, otro método de ayuda sería muy útil:

private static void CopyStream(Stream input, Stream output) 
{ 
    byte[] buffer = new byte[8192]; 
    int bytesRead; 
    while ((bytesRead = input.Read(buffer, 0, buffer.Length)) > 0) 
    { 
     output.Write(buffer, 0, bytesRead); 
    } 
} 

No hay nada de lo que soy consciente es de que es más eficiente que esto ... pero, lo que es más importante, esto no ocupará mucha memoria en su sistema. No es como leer repetidamente todo el archivo en la memoria y luego escribir todo de nuevo.

EDITAR: Como se señaló en los comentarios, hay maneras en que puede jugar con las opciones de archivo potencialmente hacerlo un poco más eficiente en términos de lo que hace el sistema de archivos con los datos. Pero, fundamentalmente, vas a leer los datos y escribirlos, un búfer a la vez, en cualquier caso.

Answer 2

¿Por qué quieres hacer esto?

Una forma podría ser jugar con la fragmentación de bajo nivel, sería genial si la hiciera funcionar.

Aquí hay un contenedor para C#.

http://blogs.msdn.com/b/jeffrey_wall/archive/2004/09/13/229137.aspx

Answer 3

hacerlo desde la línea de comandos:

copy 1.txt+2.txt+3.txt combined.txt 

o

copy *.txt combined.txt 

Answer 4

¿Quieres decir con fusión que desea decidir con cierta lógica personalizada lo pasan líneas ¿dónde? ¿O quieres decir que principalmente quieres concatenar los archivos en uno grande?

En el caso de este último, es posible que usted no necesita hacer esto mediante programación en absoluto, sólo generará un archivo por lotes con esto (/b es para binario, eliminar si no es necesario):

copy /b "file 1.tsv" + "file 2.tsv" "destination file.tsv" 

Usando C#, tomaría el siguiente enfoque. Escribir una función simple que copia dos corrientes:

void CopyStreamToStream(Stream dest, Stream src) 
{ 
    int bytesRead; 

    // experiment with the best buffer size, often 65536 is very performant 
    byte[] buffer = new byte[GOOD_BUFFER_SIZE]; 

    // copy everything 
    while((bytesRead = src.Read(buffer, 0, buffer.Length)) > 0) 
    { 
     dest.Write(buffer, 0, bytesRead); 
    } 
} 

// then use as follows (do in a loop, don't forget to use using-blocks) 
CopStreamtoStream(yourOutputStream, yourInputStream);