Java JDBC clearBatch() y la memoria del montón

Question

He observado el siguiente comportamiento.

Tengo un archivo de unos 3 MB que contiene varios miles de filas. En las filas, divido y creo una declaración preparada (alrededor de 250 000 declaraciones).

Lo que hago es:

preparedStatement 
addBatch 
do for every 200 rows { 
executeBatch 
clearBatch(). 
} 

al final

commit() 

El uso de memoria aumentará a alrededor de 70 MB sin error de falta de memoria. ¿Es posible bajar el uso de la memoria? y tienen el comportamiento transaccional (si uno falla, todos fallan). Pude bajar la memoria haciendo commit con executeBatch y clearBatch ... pero esto causará una inserción parcial del conjunto total.

Answer 1

Puede insertar todas las filas en una tabla temporal con la misma estructura y si todo está bien. deje que la base de datos los inserte en la tabla de destino usando: insert into target (select * from temp). En caso de que falle la importación en la tabla temporal, no ha cambiado nada en su tabla de destino.

EDIT: sintaxis fija

Answer 2

También puede utilizar la función de JDBC 2.0 "procesamiento por lotes".

1. Indica tu DbConnection usando connection.setAutoCommit(false)
2. Añadir lotes a su declaración usando statement.addBatch(sql_text_here)
3. Una vez que los lotes son todos cargados, ejecutarlo usando: statement.executeBatch()
4. COMPROMÉTANSE usando connection.commit()
5. excepciones de captura y su reversión según sea necesario usando connection.rollback()

Más sobre el manejo para la restitución excepción ... aquí es un típico controlador de excepciones de reversión:

catch(BatchUpdateException bue) 
    { 
    bError = true; 
    aiupdateCounts = bue.getUpdateCounts(); 

    SQLException SQLe = bue; 
    while(SQLe != null) 
    { 
     // do exception stuff 

     SQLe = SQLe.getNextException(); 
    } 
    } // end BatchUpdateException catch 
    catch(SQLException SQLe) 
    { 
    ... 

    } // end SQLException catch 

leer hasta aquí: http://java.sun.com/developer/onlineTraining/Database/JDBC20Intro/JDBC20.html#JDBC2015