¿Cómo escribir eficientemente un archivo de texto grande en C#?

Question

Estoy creando un método en C# que genera un archivo de texto para Google Product Feed. El feed contendrá más de 30,000 registros y el archivo de texto pesa actualmente a ~ 7Mb.

Aquí está el código que estoy usando actualmente (algunas líneas se eliminan por motivos de brevedad).

public static void GenerateTextFile(string filePath) { 

    var sb = new StringBuilder(1000); 
    sb.Append("availability").Append("\t"); 
    sb.Append("condition").Append("\t"); 
    sb.Append("description").Append("\t"); 
    // repetitive code hidden for brevity ... 
    sb.Append(Environment.NewLine); 

    var items = inventoryRepo.GetItemsForSale(); 

    foreach (var p in items) { 
    sb.Append("in stock").Append("\t"); 
    sb.Append("used").Append("\t"); 
    sb.Append(p.Description).Append("\t"); 
    // repetitive code hidden for brevity ... 
    sb.AppendLine(); 
    } 

    using (StreamWriter outfile = new StreamWriter(filePath)) { 
     result.Append("Writing text file to disk.").AppendLine(); 
     outfile.Write(sb.ToString()); 
    } 
} 

Me pregunto si StringBuilder es la herramienta adecuada para el trabajo. ¿Habría ganancias de rendimiento si usara un TextWriter en su lugar?

No conozco mucho sobre el rendimiento de IO, por lo que cualquier ayuda o mejora general sería apreciada. Gracias.

Answer 1

Las operaciones de E/S de archivos generalmente están bien optimizadas en los sistemas operativos modernos. No intente ensamblar toda la cadena del archivo en memoria ... solo escríbalo pieza por pieza. El FileStream se ocupará del almacenamiento en búfer y otras consideraciones de rendimiento.

Usted puede hacer este cambio fácilmente moviendo:

using (StreamWriter outfile = new StreamWriter(filePath)) { 

a la parte superior de la función, y deshacerse de la StringBuilder escrito directamente al archivo en su lugar.

Hay varias razones por las que debe evitar la creación de grandes cadenas en la memoria:

1. sino que puede desempeñarse peor, porque el StringBuilder tiene que aumentar su capacidad a medida que se escribe en él, lo que resulta en la reasignación y copia de la memoria.
2. Puede requerir más memoria de la que puede asignar físicamente, lo que puede resultar en el uso de la memoria virtual (el archivo de intercambio) que es mucho más lenta que la RAM.
3. Para archivos verdaderamente grandes (> 2Gb) se le agotará el espacio de direcciones (en plataformas de 32 bits) y nunca se completará.
4. Para escribir el contenido StringBuilder en un archivo, debe usar ToString(), que efectivamente duplica el consumo de memoria del proceso, ya que ambas copias deben estar en la memoria durante un período de tiempo. Esta operación también puede fallar si su espacio de direcciones está suficientemente fragmentado, de modo que no se puede asignar un solo bloque contiguo de memoria.

Answer 2

Escriba una cadena a la vez utilizando StreamWriter.Write en lugar de almacenar todo en un StringBuilder.

Answer 3

Simplemente mueva la instrucción using para que abarque la totalidad de su código y escriba directamente en el archivo. No veo el punto de mantener todo en la memoria primero.