El conjunto de datos groovy sql provoca java.lang.OutOfMemory

Question

Tengo una tabla con 252759 tuplas. Me gustaría usar el objeto DataSet para facilitar mi vida, sin embargo, cuando intento crear un DataSet para mi tabla, después de 3 segundos, obtengo java.lang.OutOfMemory.

No tengo experiencia con los conjuntos de datos, ¿hay alguna guía sobre cómo usar el objeto DataSet para las tablas grandes?

Answer 1

¿Por qué no comenzar con darle a la JVM más memoria?

java -Xms<initial heap size> -Xmx<maximum heap size> 

252759 tuplas no suena como algo que un mecanizado con 4 GB de RAM + alguna memoria virtual no podía manejar en la memoria.

Answer 2

¿Realmente necesita recuperar todas las filas a la vez? De lo contrario, podría recuperarlos en lotes de (por ejemplo) 10000 utilizando el enfoque que se muestra a continuación.

def db = [url:'jdbc:hsqldb:mem:testDB', user:'sa', password:'', driver:'org.hsqldb.jdbcDriver'] 

def sql = Sql.newInstance(db.url, db.user, db.password, db.driver) 
String query = "SELECT * FROM my_table WHERE id > ? ORDER BY id limit 10000" 

Integer maxId = 0 

// Closure that executes the query and returns true if some rows were processed 
Closure executeQuery = { 

    def oldMaxId = maxId 
    sql.eachRow(query, [maxId]) { row -> 

     // Code to process each row goes here..... 
     maxId = row.id 
    } 
    return maxId != oldMaxId 
} 


while (executeQuery()); 

AFAIK limit es una característica específica de MySQL, pero la mayoría de otros RDBMS tener una característica equivalente que limita el número de filas devueltas por una consulta.

Además, no he probado (ni compilado) el código anterior, ¡así que trátelo con cuidado!