Inserción múltiple múltiple de SQL

Question

¿Cuál es la forma mejor/más eficiente de insertar 1000 filas en una tabla (base de datos jdbc/connector-mysql)? (es un búfer y necesita ser volcado en la base de datos cada vez que está lleno)

1- ¿Una declaración de SQL autocatenada/concanated?

2- for (int i = 0; i<1000; i++) { con.prepareStatement(s.get(i)); } con.commit();

3- procedimiento almacenado?

¿introducción de datos a granel a través de un archivo?

5- (su solución)

Answer 1

The LOAD DATA INFILE statement es probablemente su mejor apuesta para el rendimiento. (# 4 de su lista de opciones anterior) Aunque probablemente necesite más código para realizar su tarea, ya que necesita crear el archivo intermedio, llévelo al servidor y luego llame a LOAD DATA para ingresarlo en su db.

páginas MySql Ayuda citan:

El comando LOAD DATA INFILE lee filas de un archivo de texto en una tabla en una velocidad muy alta.

Answer 2

Puede utilizar insertos lotes JDBC.

PreparedStatement ps = cn.prepareStatement("INSERT INTO...."); 

for (int i = 0; i < 1000; i++) { 
    ps.setString(1, "value-" + i); // Set values 
    ps.addBatch();     // Add this to the batch 
    ps.clearParameters();   // Reset the parameters 
} 

ps.executeBatch(); 

Sin embargo MySQL no soporta la funcionalidad de lote de forma nativa, así que para obtener un rendimiento razonable, necesitará añadir rewriteBatchedStatements=true a la configuración JDBC de MySQL.

También hay una sintaxis de inserción por lotes específica de MySQL que puede usar si desea crear una cadena de SQL grande. Intentaría ambos y probaría el rendimiento.

INSERT INTO x (a,b) 
    VALUES ('1', 'one'), 
      ('2', 'two'), 
      ('3', 'three'); 

Tenga cuidado con ambos enfoques, ya que puede exceder el tamaño máximo de paquete para una sola solicitud. Es posible que deba establecer un tamaño de lote que sea diferente al número de entradas en su búfer. P.ej. es posible que necesite dividir 1000 entradas en 10 lotes de 100.

Answer 3

Tenga en cuenta que JDBC se confirma automáticamente después de cada declaración, a menos que explícitamente indique que no. Si lo hace y ejecuta X inserciones antes de ejecutar la confirmación, debería mejorar bastante su rendimiento.