Optimizar archivo C# IO

Question

Escenario: archivo de texto de 150 MB que es la bandeja de entrada exportada de una cuenta de correo electrónico anterior. Es necesario analizar y extraer correos electrónicos de un usuario específico y los escribe en un archivo nuevo y único. Tengo un código que funciona, es obstinado lento.

Estoy usando cadenas de marcador para buscar dónde comenzar/finalizar la copia desde el archivo original.

Aquí es la función principal:

StreamReader sr = new StreamReader("c:\\Thunderbird_Inbox.txt"); 
     string working = string.Empty; 
     string mystring = string.Empty; 
     while (!sr.EndOfStream) 
     { 
      while ((mystring = sr.ReadLine()) != null) 
      { 
       if (mystring == strBeginMarker) 
       { 
        writeLog(mystring); 

        //read the next line 
        working = sr.ReadLine(); 

         while(!(working.StartsWith(strEndMarker))) 
         { 
          writeLog(working); 
          working = sr.ReadLine(); 

         } 
        } 
      } 

     } 
     this.Text = "DONE!!"; 
     sr.Close(); 

La función que escribe los mensajes seleccionados en el nuevo archivo:

public void writeLog(string sMessage) 
    { 
      fw = new System.IO.StreamWriter(path, true); 
      fw.WriteLine(sMessage); 
      fw.Flush(); 
      fw.Close(); 
    } 

Una vez más, este proceso funciona. Obtengo un buen archivo de salida, solo lleva mucho tiempo y estoy seguro de que hay formas de hacerlo más rápido.

Answer 1

La mayor optimización sería cambiar su método writeLog para abrir el archivo una vez al comienzo de esta operación, escribir en él muchas veces, luego cerrarlo al final.

En este momento, está abriendo y cerrando el archivo cada iteración donde escribe, lo que definitivamente va a ralentizar las cosas.

intente lo siguiente:

// Open this once at the beginning! 
using(fw = new System.IO.StreamWriter(path, true)) 
{ 
    using(StreamReader sr = new StreamReader("c:\\Thunderbird_Inbox.txt")) 
    { 
     string working; 
     string mystring; 
     while ((mystring = sr.ReadLine()) != null) 
     { 
      if (mystring == strBeginMarker) 
      { 
       writeLog(mystring); 

       //read the next line 
       working = sr.ReadLine(); 

       while(!(working.StartsWith(strEndMarker))) 
       { 
        fw.WriteLine(working); 
        working = sr.ReadLine(); 
       } 
      } 
     } 
    } 
} 
this.Text = "DONE!!"; 

Answer 2

no tengo un archivo de texto de 150 MB para probar, pero si el servidor dispone de la memoria sería lectura lo espera en una cadena y haciendo una expresión regular tirando a cabo el trabajo de mensajes ?

Answer 3

Simplemente puede declarar el objeto StreamWriter fuera del bucle while y simplemente escribir la línea dentro del bucle.

De esta manera:

StreamWriter sw = new StreamWriter(path, true); 
while 
{ 
    // ... 
    while(!(working.StartsWith(strEndMarker))) 
    { 
     sw.WriteLine(working); 
     working = sr.ReadLine(); 
    } 
} 

Answer 4

creo que deberías:

1. Abrir archivos una vez.
2. Carga el archivo fuente en la memoria.
3. Rómpalo y usa varios hilos para procesar.

Answer 5

Haría simplemente un analizador simple. Tenga en cuenta que esto supone (como lo hace en su código anterior) que los marcadores son únicos.

Puede que tenga que jugar con el formateo de un poco de su salida, pero aquí es la idea general:

// Read the entire file and close it 
    using (StreamReader sr = new 
    StreamReader("c:\\Thunderbird_Inbox.txt");) 
    { 
     string data = sr.ReadToEnd(); 
    } 

    string newData = ""; 
    int position = data.IndexOf(strBeginMarker); 

    while (position > 0) 
    { 
     int endPosition = data.IndexOf(endMarker, position); 
     int markerLength = position + strBeginMarker.Length; 

    newData += data.Substring(markerLength, endPosition - markerLength); 

    position = data.IndexOf(strBeginMarker, position+ endStr.Length); 
    } 

    writeLog(newData); 

(Tenga en cuenta que no tengo un archivo de 150 MB para probar esto en - YMMV dependiendo de la máquina que esté usando).