Cómo leer archivos XML grandes sin cargarlos en la memoria y usar XElement

Question

Quiero leer un archivo xml grande (100 + M). Debido a su tamaño, no quiero cargarlo en la memoria usando XElement. Estoy usando consultas linq-xml para analizar y leer.

¿Cuál es la mejor manera de hacerlo? ¿Algún ejemplo sobre la combinación de XPath o XmlReader con linq-xml/XElement?

Por favor ayuda. Gracias.

Answer 1

Sí, puede combinar XmlReader con method XNode.ReadFrom; consulte el ejemplo en la documentación que utiliza C# para procesar de forma selectiva los nodos encontrados por XmlReader como XElement.

Answer 2

Solo tenga en cuenta que tendrá que leer el archivo secuencialmente y que referir a hermanos o descendientes va a ser lento en el mejor de los casos, e imposible en el peor. De lo contrario, @MartinHonnn tiene la clave.

Answer 3

El código de ejemplo en la documentación de MSDN para el método XNode.ReadFrom es el siguiente:

class Program 
{ 
    static IEnumerable<XElement> StreamRootChildDoc(string uri) 
    { 
     using (XmlReader reader = XmlReader.Create(uri)) 
     { 
      reader.MoveToContent(); 
      // Parse the file and display each of the nodes. 
      while (reader.Read()) 
      { 
       switch (reader.NodeType) 
       { 
        case XmlNodeType.Element: 
         if (reader.Name == "Child") 
         { 
          XElement el = XElement.ReadFrom(reader) as XElement; 
          if (el != null) 
           yield return el; 
         } 
         break; 
       } 
      } 
     } 
    } 

    static void Main(string[] args) 
    { 
     IEnumerable<string> grandChildData = 
      from el in StreamRootChildDoc("Source.xml") 
      where (int)el.Attribute("Key") > 1 
      select (string)el.Element("GrandChild"); 

     foreach (string str in grandChildData) 
      Console.WriteLine(str); 
    } 
} 

Pero he encontrado que el método StreamRootChildDoc en el ejemplo tiene que ser modificado de la siguiente manera:

static IEnumerable<XElement> StreamRootChildDoc(string uri) 
    { 
     using (XmlReader reader = XmlReader.Create(uri)) 
     { 
      reader.MoveToContent(); 
      // Parse the file and display each of the nodes. 
      while (!reader.EOF) 
      { 
       if (reader.NodeType == XmlNodeType.Element && reader.Name == "Child") 
       { 
        XElement el = XElement.ReadFrom(reader) as XElement; 
        if (el != null) 
         yield return el; 
       } 
       else 
       { 
        reader.Read(); 
       } 
      } 
     } 
    }