cadena muy grande en la memoria

Question

Estoy escribiendo un programa para formatear 100s de datos de cadena de MB (cerca de un concierto) en xml == y estoy obligado a devolverlo como respuesta a una solicitud de HTTP (GET).

estoy usando un StringWriter/XmlWriter para construir un XML de los registros de un bucle devolviendo el

using (StringWriter writer = new StringWriter()) 
using (writer = XmlWriter.Create(writer, settings)) //where settings are the xml props 

writer.ToString() 

durante las pruebas vi unas cuantas --out de la memoria exceptions-- y bastante ni idea de cómo para encontrar una solución? ¿Tienen alguna sugerencia para una entrega optimizada de la respuesta?

¿hay una forma eficiente de memoria de codificar los datos? o tal vez fragmentar los datos - No puedo pensar en cómo devolverlo sin la construcción de todo el asunto en un objeto de cadena enorme

gracias

- algunas aclaraciones - esto es un ASP .net webservices app sobre un enlace de gigabit ethernet como lo señaló josh. No estoy muy familiarizado con eso, por lo que todavía es una curva de aprendizaje.

estoy usando XMLWriter para crear el XML y crear una cadena de ella usando cuerdas

algunas estadísticas - tamaño xml = respuesta de alrededor de 385 megas (mi tamaño de los datos crecerán muy rápidamente a mucho más que esto)

cadena tamaño del objeto según los cálculos de un perfilador de memoria = alcanzó un máximo de 605MB

y gracias a todos los que respondieron ...

Answer 1

¿No puede simplemente transmitir la respuesta al cliente? XmlWriter no requiere que su flujo subyacente se almacene en la memoria. Si es ASP.NET puede usar Response.OutputStream o si es WCF, puede usar response streaming.

Answer 2

Vas a tener que devolver cada registro (o un pequeño grupo de rec ords) en sus propios GET individuales.

Answer 3

Utilice XmlTextWriter envuelto alrededor de Reponse.OutputStream para enviar el XML al cliente y periódicamente descargue la respuesta. De esta forma, nunca tendrá que tener más de unos pocos mb en la memoria al mismo tiempo (al menos para enviarlos al cliente).

Answer 4

HTTP get for 1 gig? ¡eso es mucho! Tal vez deberías reconsiderar. Al menos gziping la salida podría ayudar.

Answer 5

No debe crear XML utilizando la manipulación de cadenas.

su lugar, debe utilizar los XmlTextWriter, XmlDocument, o (en .Net 3.5) XElement clases para construir un árbol XML en la memoria, y luego escribir directamente a Response.OutputStream utilizando un XmlTextWriter.

Escribir directamente en un XmlTextWriter que se envuelve Response.OutputStream será más eficiente (nunca tendrá un árbol de elementos completo en la memoria a la vez), pero será algo más complicado.

Al hacerlo de esta manera, nunca tendrá una sola cadena (o matriz) que contenga todo el objeto, y por lo tanto, deberá evitar OutOfMemoryExceptions.

Answer 6

Tuve un problema similar, espero que esto ayude a alguien. Mi código inicial fue:

var serializer = new XmlSerializer(type); 
string xmlString; 

using (var writer = new StringWriter()) 
{ 
    serializer.Serialize(writer, objectData, sn); // OutOfMemoryException here 
    xmlString = writer.ToString(); 
} 

terminé replaceing StringWriter con MemoryStream y esto resuelve mi problema

using (var mem = new MemoryStream()) 
{ 
    serializer.Serialize(mem, objectData, sn); 
    xmlString = Encoding.UTF8.GetString(mem.ToArray()); 
}