La carga del lector DataTable es muy lenta

Question

Necesito recuperar algunos datos en base a una palabra clave, la consulta se prueba al 100% de precisión, pero el problema es que la carga del reader es bastante lenta. He intentado reemplazar esta consulta con una que no contiene inner join s en absoluto y la carga fue bastante rápida. Entonces me pregunto, dado que solo estoy seleccionando una columna como resultado, ¿por qué DataTable.Load() toma tanto tiempo? ¿Es el SQLite de ExecuteReader que carga los resultados completos y no solo una columna?

Antes de usar la DataTable, el tiempo promedio de ejecución de cada reader.Read() fue de 7 segundos.

Este es mi código:

_database.Connect(); 

var selectCommand = new SQLiteCommand(
@"SELECT A.ID AS MY_ID FROM MD 
INNER JOIN TMD ON MD.ID = TMD.ID_MD 
INNER JOIN TR ON TR.ID = TMD.ID_TR 
INNER JOIN P ON P.ID = TR.ID_P 
INNER JOIN DP ON DP.ID_P = P.ID 
INNER JOIN CD ON CD.ID = DP.ID_CD 
WHERE CD.DESC = @desc" 
); 

selectCommand.Parameters.AddWithValue("@desc", value); 

using (DbDataReader reader = _database.ExecuteQuery(selectCommand)) 
{ 
    DataTable data = new DataTable("MyData"); 
    data.Load(reader); 
} 
_database.Disconnect(); 

Answer 1

The SQLite Query Planner ofrece algunos consejos sobre la optimización de consultas para SQLite.

Algunos elementos que pueden aplicarse a su pregunta:

1.) Debido a la implementación en SQLite usted puede tratar de volver a pedir el múltiplo une:

La implementación actual de SQLite utiliza solamente lazo se une. Es decir, decir, las uniones se implementan como bucles anidados. El orden predeterminado de los bucles anidados en una unión es para la tabla de la izquierda en la cláusula FROM a del bucle externo y la tabla de la derecha para formar el bucle interno.

Dependiendo de cómo se construyan las UNIONES, puede haber una diferencia en el rendimiento.

SQLite trata de optimizar esto automáticamente, pero por lo que he entendido la documentación que no hay garantía de éxito (destacados por mí):

Sin embargo, SQLite nido de los bucles en un orden diferente si al hacerlo entonces lo ayudará a seleccionar mejores índices. [...] Unir el reordenamiento es automático y generalmente funciona lo suficientemente bien como para que los programadores no tengan que pensar en ello, especialmente si ANALYZE se ha utilizado para recopilar estadísticas sobre los índices disponibles. Pero ocasionalmente se necesitan algunos consejos del programador .

2.) También, tenga en cuenta que combinaciones internas se convierten internamente en las cláusulas WHERE, por lo que ninguna de las sugerencias de rendimiento en la cuales pueden aplicarse sección del documento, también:

El EN y las cláusulas USING de una unión interna se convierten en términos adicionales de la cláusula WHERE antes del análisis de cláusula WHERE descrito anteriormente en el párrafo 1.0. Por lo tanto, con SQLite, no existe la ventaja computacional para usar la sintaxis de unión SQL92 más nueva sobre la sintaxis de combinación de comandos SQL89 anterior .Ambos terminan logrando exactamente lo mismo en las uniones internas.

3.) Usted podría considerar para seleccionar más columnas en su estado de cuenta, si hay índices en ellos:

No es necesario que cada columna de un índice para aparecer en una DONDE término de la cláusula para que se use ese índice. Pero no hay brechas en las columnas del índice que se utilizan.

Answer 2

Creo que esto sucede debido a la naturaleza de SQLite y un gran número de uniones.

Trate de refactorizar el esquema de la base de datos, como desnormalizar los datos para un acceso más rápido.