2010-12-16 52 views
13

Saltando de un artículo a otro, puedo ver en todas partes la expresión "carga masiva".¿Qué significa "carga masiva"?

¿Qué significa realmente (técnicamente)?

¿Qué implica?

Explicación basada en casos de uso es bienvenida.

Respuesta

18

Los índices generalmente están optimizados para insertar filas de a uno por vez. Cuando agrega una gran cantidad de datos a la vez, insertar filas de uno en uno puede ser ineficiente. Por ejemplo, con un B-Tree, la forma óptima de insertar una sola clave es una manera muy pobre de agregar un montón de datos a un índice vacío.

En su lugar, persigue una estrategia diferente con B-Trees. Preselecciona todos los datos y los agrupa en bloques. Luego puede construir un nuevo B-Tree transformando los bloques en nodos de árbol. Aunque ambas técnicas tienen el mismo rendimiento asintótico, O (n log (n)), la operación de carga masiva tiene un factor mucho menor.

6

La carga masiva es una forma de cargar datos (normalmente en una base de datos) en 'grandes porciones'. Donde puede ingresar un cliente o una orden de compra o información sobre artículos en el inventario uno a la vez en su sistema, la carga masiva toma un archivo de este mismo tipo de información y carga cientos/miles/millones de registros en un corto período de tiempo .

Si convierte de un tipo de DBMS a otro, no desea ingresar toda la información en el nuevo DB del DB anterior. En su lugar, debe volcar la información de la base de datos anterior a un archivo en un formato que pueda leer fácilmente la nueva base de datos y luego importar esos datos en la nueva base de datos.

Eso es lo que implica la carga a granel (a nivel del pie 35K, de todos modos)

2

carga a granel se utiliza para la importación/exportación de grandes cantidades de datos. Por lo general, las operaciones masivas no se registran y la integridad transaccional puede no funcionar como se esperaba. A menudo, las operaciones masivas evitan los desencadenantes y las comprobaciones de integridad, como las restricciones. Esto mejora el rendimiento, para grandes cantidades de datos, bastante significativamente.

1

Una cosa a recordar es que la carga masiva implica que el contenido de datos desde la fuente al objetivo es el mismo, pero esto solo es cierto si se acepta el sistema de origen. Para cualquier fuente de datos, y especialmente cierta para datos grandes, los datos de origen pueden cambiar después de que hayan sido leídos y de que se esté realizando la transferencia de datos. Tradicionalmente, los sistemas en línea tienen que desconectarse de la red o suspender las actualizaciones si se requiere una captura de tiempo exacto en el punto que coincida con la fuente.