Postgresql UNION toma 10 veces más tiempo que ejecutar las consultas individuales

Question

Estoy tratando de obtener la diferencia entre dos tablas casi idénticas en postgresql. La consulta actual Me postulo es:

SELECT * FROM tableA EXCEPT SELECT * FROM tableB; 

y

SELECT * FROM tableB EXCEPT SELECT * FROM tableA; 

Cada una de las consultas anteriores dura aproximadamente 2 minutos para correr (Su una gran mesa)

quería combinar los dos consultas con la esperanza de ahorrar tiempo, así que probé:

SELECT * FROM tableA EXCEPT SELECT * FROM tableB 
UNION 
SELECT * FROM tableB EXCEPT SELECT * FROM tableA; 

Y mientras funciona, se tarda 20 minutos en ejecutar !!! Supongo que tomaría como mucho 4 minutos, la cantidad de tiempo para ejecutar cada consulta individualmente.

¿Hay algún trabajo adicional que UNION esté haciendo que lo lleve tanto tiempo? ¿O hay alguna manera de acelerarlo (con o sin UNIÓN)?

ACTUALIZACIÓN: Ejecutar la consulta con UNION ALL toma 15 minutos, casi 4 veces más que ejecutar cada uno por su cuenta, ¿Estoy en lo cierto al decir que UNION (todo) no va a acelerar esto en absoluto?

Answer 1

Con respecto a su pregunta de "trabajo extra". Sí. Union no solo combina las dos consultas sino que también procesa y elimina los duplicados. Es lo mismo que usar una declaración distinta.

Por esta razón, especialmente combinado con sus declaraciones excepto "union all" probablemente sea más rápido.

leer más aquí: http://www.postgresql.org/files/documentation/books/aw_pgsql/node80.html

Answer 2

Además de combinar los resultados de la primera y la segunda consulta, UNION por defecto elimina también los registros duplicados. (ver http://www.postgresql.org/docs/8.1/static/sql-select.html). El trabajo extra involucrado en la verificación de registros duplicados entre las dos consultas es probablemente responsable del tiempo extra. En esta situación, no debe haber registros duplicados, por lo que se puede evitar el trabajo adicional en busca de duplicados especificando UNION ALL.

SELECT * FROM tableA EXCEPT SELECT * FROM tableB 
UNION ALL 
SELECT * FROM tableB EXCEPT SELECT * FROM tableA; 

Answer 3

Usted podría utilizar tablaA combinación externa completa TableB, lo que daría lo que quiere (con un propre unirse a condición) con sólo 1 mesa de exploración, probablemente sería más rápido que las 2 consultas anteriores.

Publique más información por favor.

Answer 4

No creo que el código arroje los resultados que usted desea. Prefiero pensar que desea hacer esto:

SELECT * 
    FROM (
     SELECT * FROM tableA 
     EXCEPT 
     SELECT * FROM tableB 
     ) AS T1 
UNION 
SELECT * 
    FROM (
     SELECT * FROM tableB 
     EXCEPT 
     SELECT * FROM tableA 
     ) AS T2; 

En otras palabras, desea el conjunto de miembros mutuamente excluyentes.Si es así, es necesario leer sobre la precedencia de operadores relacionales en SQL;) Y cuando usted tiene, usted puede darse cuenta de lo anterior puede ser racionalizada a:

SELECT * FROM tableA 
UNION 
SELECT * FROM tableB 
EXCEPT 
SELECT * FROM tableA 
INTERSECT 
SELECT * FROM tableB; 

---

Fwiw, el uso de subconsultas (tablas derivadas T1 y T2) para mostrar de forma explícita (lo que sería de otra manera implícita) precedencia de los operadores relacionales, su búsqueda original es la siguiente:

SELECT * 
    FROM (
     SELECT * 
      FROM (
       SELECT * 
        FROM tableA 
       EXCEPT 
       SELECT * 
        FROM tableB 
       ) AS T2 
     UNION 
     SELECT * 
      FROM tableB 
     ) AS T1 
EXCEPT 
SELECT * 
    FROM tableA; 

lo anterior se puede relationalised a:

SELECT * 
    FROM tableB 
EXCEPT 
SELECT * 
    FROM tableA; 

... y no creo lo que se pretende.