¿Cómo acelero DbSet.Add()?

Question

Tengo que importar alrededor de 30k filas desde un archivo CSV a mi base de datos SQL, esto lamentablemente lleva 20 minutos.

La solución de problemas con un generador de perfiles me muestra que DbSet.Add toma más tiempo, pero ¿por qué?

que tienen estos Entity Framework Código-Primeras clases:

public class Article 
{ 
    // About 20 properties, each property doesn't store excessive amounts of data 
} 

public class Database : DbContext 
{ 
    public DbSet<Article> Articles { get; set; } 
} 

para cada elemento de mi bucle que hago:

db.Articles.Add(article); 

Fuera del bucle for que hago:

db.SaveChanges(); 

Está conectado con mi servidor SQLExpress local, pero supongo que no hay nada escrito hasta Sav Se llama eChanges así que supongo que el servidor no será el problema ...

Answer 1

Cada artículo en una unidad de trabajo tiene una sobrecarga, ya que debe verificar (y actualizar) el administrador de identidades, agregar a varios colecciones, etc.

Lo primero que intentaría es agrupar, por ejemplo, grupos de 500 (cambie ese número según corresponda), comenzando con un contexto de objetos nuevo (nuevo) cada vez, de lo contrario, puede esperar razonablemente rendimiento telescópico. Romperlo en lotes también evita una transacción megalítica que detiene todo.

Más allá de eso; SqlBulkCopy. Está diseñado para grandes importaciones con una sobrecarga mínima. No es EF sin embargo.

Answer 2

Realmente no he intentado esto, pero mi lógica sería aferrarme al controlador ODBC para cargar el archivo en datatable y luego usar el procedimiento almacenado sql para pasar la tabla al procedimiento.

Para la primera parte, trata de: http://www.c-sharpcorner.com/UploadFile/mahesh/AccessTextDb12052005071306AM/AccessTextDb.aspx

Para la segunda parte probar esto por procedimiento SQL: http://www.builderau.com.au/program/sqlserver/soa/Passing-table-valued-parameters-in-SQL-Server-2008/0,339028455,339282577,00.htm

Y crear el objeto SqlCommnand en C# y añadir a su SqlParameter colección de parámetros que es SqlDbType. Estructurado

Bueno, espero que ayude.

Answer 3

De acuerdo con el comentario de Kevin Ramen (mar 29) puedo confirmar que la fijación de db.Configuration.AutoDetectChangesEnabled = false hace una gran diferencia en la velocidad

Correr Add() en 2324 elementos por defecto corrió 15 segundos a 3 minutos en mi máquina, la desactivación de la detección automática resultó en la operación que completa en 0.5sec.

http://blog.larud.net/archive/2011/07/12/bulk-load-items-to-a-ef-4-1-code-first-aspx

Answer 4

Voy a añadir al comentario de Kervin Ramen diciendo que si sólo se está haciendo inserciones (no hay actualizaciones o eliminaciones) entonces se puede, en general, fijar con seguridad las siguientes propiedades antes de hacer cualquier inserto en el contexto:

DbContext.Configuration.AutoDetectChangesEnabled = false; 
DbContext.Configuration.ValidateOnSaveEnabled = false; 

Estaba teniendo un problema con una importación a granel única en mi trabajo. Sin establecer las propiedades anteriores, agregar unos 7500 objetos complicados al contexto llevaba más de 30 minutos.Establecer las propiedades anteriores (por lo tanto, deshabilitar las comprobaciones de EF y cambiar el seguimiento) redujo la importación a segundos.

Pero, una vez más, insisto solo use esto si está haciendo inserciones. Si necesita mezclar inserciones con actualizaciones/eliminaciones, puede dividir el código en dos rutas y desactivar las comprobaciones EF para la parte insertada y luego volver a habilitar las comprobaciones para la ruta de actualización/eliminación. He utilizado este enfoque con éxito para evitar el comportamiento lento de DbSet.Add().

Answer 5

No es una herramienta extremadamente fácil de usar y de extensión muy rápido aquí: https://efbulkinsert.codeplex.com/

Se llama "Marco de la entidad inserción masiva".

La extensión está en el espacio de nombres EntityFramework.BulkInsert.Extensions. Así que para revelar el método de extensión añadir usando

using EntityFramework.BulkInsert.Extensions; 

Y entonces usted puede hacer esto

context.BulkInsert(entities); 

BTW - Si no desea utilizar esta extensión, por alguna razón, también se podría tratar en lugar de correr db.Articles.Add (artículo) para cada artículo, para crear cada vez una lista de varios artículos y luego use AddRange (nuevo en EF versión 6, junto con RemoveRange) para agregarlos al dbcontext.