JDBC + amplia consulta PostgreSQL dan fuera de la memoria

Question

Estoy tratando de ejecutar una consulta PostgreSQL, que devuelve un resultado grande:

connection.setAutoCommit(false); 
st = connection.createStatement(
    ResultSet.CONCUR_READ_ONLY, 
    ResultSet.TYPE_FORWARD_ONLY 
); 
st.setFetchSize(100); 
logMemory(); 
System.out.println("start query "); 
rs = st.executeQuery(queryString); 
System.out.println("done query "); 
logMemory(); 

pero esto consume mucha memoria:

Free memory; 4094347680 (= 3905 mb). 
start query 
done query 
Free memory; 2051038576 (= 1956 mb). 

(impreso con Runtime.getRuntime(). freeMemory())

Hasta ahora funciona, pero la base de datos va a ser mucho más grande. No necesito el resultado completo en la memoria; Solo necesito procesar cada fila, escribir los resultados en el disco y pasar a la siguiente fila.

Sé que 'setFetchSize' es solo una sugerencia, pero me resultaría extraño si postgresql/jdbc lo ignorara, ya que existe desde hace mucho tiempo.

¿Alguna forma de evitar esto? Mi única idea hasta ahora es hacer un script por lotes que transmita el resultado de la consulta al disco y luego analizar el archivo desde Java ...

Answer 1

Ouch, este es uno de los errores más desagradables que he usado con JDBC. Debe cambiar

st = connection.createStatement(
    ResultSet.CONCUR_READ_ONLY, 
    ResultSet.TYPE_FORWARD_ONLY 
); 

en

st = connection.createStatement(
    ResultSet.TYPE_FORWARD_ONLY, 
    ResultSet.CONCUR_READ_ONLY 
); 

Tal vez simplemente

st = connection.createStatement(); 

funcionará tan bien (a medida que cumple los demás criterios para un cursor).

Answer 2

Here son las pautas para garantizar que el conjunto de resultados se recupera realmente con un cursor . Parece que acertaste con todas las conocidas en tu código, pero no has especificado la declaración, por lo que puede estar unida a puntos y comas (improbable, por el aspecto de tu código). Tienes que estar usando el protocolo V3 (versión 7.4 o posterior). ¿Se aplican todas estas cosas a su caso?