cómo escribir una subconsulta y usar la cláusula "En" en Hive

Question

¿Cómo puedo usar la cláusula In en Hive Quiero escribir algo como esto en Hive seleccionar x de y donde yz in (seleccionar distinct z from y) ordenar por X; Pero no encuentro ninguna forma de hacerlo ... Intenté In cláusula en Hive 0.7 que estaba arrojando un error, También probé Find_in_Set .. usando find_in_set (y.z, subquery) .. pero el trabajo se está fallando.

Quiero hacer esto en Hive. Por favor me ayude si alguien sabe cómo hacer esto en la colmena ..

, gracias & Saludos, Atul

Answer 1

Según https://cwiki.apache.org/confluence/display/Hive/LanguageManual+Select:

"Colmena no soporta EN, existe o subconsultas en la cláusula WHERE "

Es posible que desee mirar: https://issues.apache.org/jira/browse/HIVE-801

https://issues.apache.org/jira/browse/HIVE-1799

Answer 2

Colmena soporta perfectamente el EN ... no es compatible con la sub consulta en la cláusula WHERE

no es un billete de funciones abierto de los ingenieros de Facebook desde hace 4 años ... https://issues.apache.org/jira/browse/HIVE-784?focusedCommentId=13579059

Answer 3

Puedes usar semi join (https://cwiki.apache.org/Hive/languagemanual-joins.html):

LEFT SEMI JOIN implementa la semántica de subconsulta IN/EXISTS correlacionada de una manera eficiente. Dado que Hive actualmente no es compatible con las subconsultas IN/EXISTS, puede reescribir sus consultas utilizando LEFT SEMI JOIN. Las restricciones del uso de SEMI LEFT JOIN es que la tabla del lado de la mano derecha sólo debe ser referenciada en la condición de unión (ON-cláusula), pero no en WHERE- o Select-cláusulas etc.

SELECT a.key, a.value 
    FROM a 
    WHERE a.key in 
    (SELECT b.key 
    FROM B); 

puede ser reescrito para:

SELECT a.key, a.val 
    FROM a LEFT SEMI JOIN b on (a.key = b.key) 

Answer 4

estoy usando la versión colmena 0.7.1 y SELECT * FROM MYTABLE WHERE MYCOLUMN IN ('thisThing','thatThing');

he probado esto en un tipo de columna STRING así que no estoy seguro de si esto funciona universalmente en todos los tipos de datos, ya que noté como se menciona Wawrzyniec arriba, el Manual de Hive Language dice que no es compatible y que en su lugar usa LEFT SEMI JOIN, pero funcionó bien en mi prueba.

Answer 5

Hive 0.13 ahora admiten IN/EXISTS en la cláusula WHERE.La cuestión https://issues.apache.org/jira/browse/HIVE-784 se ha resuelto después de 4 años :)

Answer 6

asumen table t1(id,name) y table t2(id,name)

lista de identificadores de sólo aquellos t1 que existe en t2 (básicamente IN cláusula)

hive>select a.id from t1 a left semi join t2 b on (a.id=b.id); 

lista de identificadores de sólo aquellos t1 que existe solo en t1 pero no en t2 (básicamente NOT IN cláusula)

hive>select a.id from t1 a left outer join t2 b on(a.id=b.id) where b.id is null;