Inserción masiva O actualización con hibernación?

Question

Necesito consumir una gran cantidad de datos de un archivo CSV diario. El archivo CSV contiene alrededor de 120,000 registros. Esto se ralentiza a paso de tortuga cuando se utiliza hibernación. Básicamente, parece que hibernate está haciendo un SELECT antes de cada INSERT (o UPDATE) al usar saveOrUpdate(); para cada instancia que persista con saveOrUpdate(), se emite un SELECT antes del INSERT real o una ACTUALIZACIÓN. Puedo entender por qué está haciendo esto, pero es terriblemente ineficiente para hacer un procesamiento masivo, y estoy buscando alternativas

Estoy seguro de que el problema de rendimiento reside en la forma en que estoy usando Hibernate para esto, ya que tiene otra versión que funciona con SQL nativo (que analiza el CSV de la misma manera) y que literalmente ejecuta círculos alrededor de esta nueva versión)

Entonces, para la pregunta real, ¿una alternativa de hibernación a mysqls "INSERTAR ... ON DUPLICATE "¿existe sintaxis?

O, si elijo hacer SQL nativo para esto, ¿puedo hacer SQL nativo dentro de una transacción de hibernación? Es decir, ¿admitirá commit/rollbacks?

Answer 1

Según an answer to a similar question, se puede hacer por configuring Hibernate to insert objects using a custom stored procedure que utiliza la funcionalidad upsert de su base de datos. Aunque no es bonito.

Answer 2

Hay muchos posibles cuellos de botella en operaciones masivas. El mejor enfoque depende en gran medida de cómo se ve tu información. Eche un vistazo a la sección Hibernate Manual sobre procesamiento por lotes.

Como mínimo, asegúrese de que está utilizando el siguiente patrón (copiado del manual):

Session session = sessionFactory.openSession(); 
Transaction tx = session.beginTransaction(); 

for (int i=0; i<100000; i++) { 
Customer customer = new Customer(.....); 
session.save(customer); 
    if (i % 20 == 0) { //20, same as the JDBC batch size 
     //flush a batch of inserts and release memory: 
     session.flush(); 
     session.clear(); 
    } 
} 

tx.commit(); 
session.close(); 

Si va a asignar un archivo plano a un gráfico de objetos muy complejo que puede tener que ser más creativos , pero el principio básico es que debe encontrar un equilibrio entre enviar pedazos de datos de buen tamaño a la base de datos con cada descarga/confirmación y evitar explotar el tamaño de la memoria caché de nivel de sesión.

Por último, si no necesita Hibernate para manejar cualquier colección o en cascada para que sus datos se inserten correctamente, considere usar un StatelessSession.

Answer 3

La selección "extra" es generar el identificador único para sus datos.

Cambie a la generación de secuencia HiLo y puede reducir la secuencia de ida y vuelta a la base de datos por el número de tamaño de asignación. Tenga en cuenta, habrá un vacío en las claves principales a menos que ajuste el valor de secuencia para el generador alto

Answer 4

Si utiliza la secuencia o generador nativo Hibernate utilizará una selección para obtener el ID:

<id name="id" column="ID"> 
    <generator class="native" /> 
</id> 

Usted debe usar hilo o generador seqhilo:

<id name="id" type="long" column="id"> 
    <generator class="seqhilo"> 
     <param name="sequence">SEQ_NAME</param> 
     <param name="max_lo">100</param> 
    </generator> 
</id> 

Answer 5

De Hibernate Batch Processing Para la actualización he usado el siguiente:

Session session = sessionFactory.openSession(); 
Transaction tx = session.beginTransaction(); 

ScrollableResults employeeCursor = session.createQuery("FROM EMPLOYEE") 
            .scroll(); 
int count = 0; 

while (employeeCursor.next()) { 
    Employee employee = (Employee) employeeCursor.get(0); 
    employee.updateEmployee(); 
    seession.update(employee); 
    if (++count % 50 == 0) { 
     session.flush(); 
     session.clear(); 
    } 
} 
tx.commit(); 
session.close(); 

Pero para insertar Yo iría por jcwayne respuesta