Iterar a través de IQueryable con foreach produce una excepción de falta de memoria

Question

Estoy iterando a través de una tabla pequeña (~ 10 GB) con foreach/IQueryable y LINQ-to-SQL. es como la siguiente:

using (var conn = new DbEntities() { CommandTimeout = 600*100}) 
{ 
    var dtable = conn.DailyResults.Where(dr => dr.DailyTransactionTypeID == 1); 
    foreach (var dailyResult in dtable) 
    { 
     //Math here, results stored in-memory, but this table is very small. 
     //At the very least compared to stuff I already have in memory. :) 
    } 
} 

El depurador de Visual Studio lanza un fuera de excepción de memoria después de un corto periodo de tiempo en la base del bucle foreach. Supongo que las filas de dtable no están sonrojadas. ¿Qué hacer?

Answer 1

La diabla IQueryable<DailyResult> intentará cargar todo el resultado de la consulta en la memoria cuando se enumeran ... antes de que cualquier iteraciones del bucle foreach. No carga una fila durante la iteración del ciclo foreach. Si quieres ese comportamiento, usa DataReader.

Answer 2

¿Llamas ~ 10GB pequeño? ¡Tienes un buen sentido del humor!

Puede considerar cargar filas en fragmentos, también conocidos como paginación.

conn.DailyResults.Where(dr => dr.DailyTransactionTypeID == 1).Skip(x).Take(y); 

Answer 3

Usar DataReader es un paso atrás a menos que haya una forma de usarlo dentro de LINQ. Pensé que estábamos tratando de alejarnos de ADO.

La solución sugerida anteriormente funciona, pero es realmente fea. Aquí está mi código:

int iTake = 40000; 
int iSkip = 0; 
int iLoop; 
ent.CommandTimeout = 6000; 
while (true) 
{ 
    iLoop = 0; 
    IQueryable<viewClaimsBInfo> iInfo = (from q in ent.viewClaimsBInfo 
             where q.WorkDate >= dtStart && 
             q.WorkDate <= dtEnd 
             orderby q.WorkDate 
             select q) 
             .Skip(iSkip).Take(iTake); 
    foreach (viewClaimsBInfo qInfo in iInfo) 
    { 
    iLoop++; 
    if (lstClerk.Contains(qInfo.Clerk.Substring(0, 3))) 
    { 
      /// Various processing.... 
    } 
    } 
    if (iLoop < iTake) 
    break; 
    iSkip += iTake; 
} 

Se puede ver que tengo que comprobar por haber quedado sin registros porque el bucle foreach terminará a 40.000 registros. No está bien.

Actualizado el 10/06/2011: Incluso esto no funciona. Con 2,000,000 de registros más o menos, recibo una excepción de falta de memoria. También es insoportablemente lento. Cuando lo modifiqué para usar OleDB, funcionó en aproximadamente 15 segundos (en lugar de más de 10 minutos) y no se quedó sin memoria. ¿Alguien tiene una solución LINQ que funciona y funciona rápidamente?

Answer 4

Sugeriría utilizar SQL en su lugar para modificar estos datos.

Answer 5

Uso .AsNoTracking() - Narra DbEntities que no hagan caché filas recuperadas

using (var conn = new DbEntities() { CommandTimeout = 600*100}) 
{ 
    var dtable = conn.DailyResults 
       .AsNoTracking()  // <<<<<<<<<<<<<< 
       .Where(dr => dr.DailyTransactionTypeID == 1); 
    foreach (var dailyResult in dtable) 
    { 
     //Math here, results stored in-memory, but this table is very small. 
     //At the very least compared to stuff I already have in memory. :) 
    } 
}