¿Lanza una excepción en una UDF de cerdo EvalFunc salte solo esa línea, o pare completamente?

Question

Tengo una Función definida por el usuario (UDF) escrita en Java para analizar líneas en un archivo de registro y devolver la información a pig, para que pueda hacer todo el procesamiento.

se ve algo como esto:

public abstract class Foo extends EvalFunc<Tuple> { 
    public Foo() { 
     super(); 
    } 

    public Tuple exec(Tuple input) throws IOException { 
     try { 
      // do stuff with input 
     } catch (Exception e) { 
      throw WrappedIOException.wrap("Error with line", e); 
     } 
    } 
} 

Mi pregunta es: si se lanza el IOException, se detendrá por completo, o lo devolverá resultados para el resto de las líneas que no una excepción ?

Ejemplo: I ejecutar este en cerdo

REGISTER myjar.jar 
DEFINE Extractor com.namespace.Extractor(); 

logs = LOAD '$IN' USING TextLoader AS (line: chararray); 
events = FOREACH logs GENERATE FLATTEN(Extractor(line)); 

Con esta entrada:

1.5 7 "Valid Line" 
1.3 gghyhtt Inv"alid line"" I throw an exceptioN!! 
1.8 10 "Valid Line 2" 

¿Va a procesar las dos líneas y a 'logs' tener 2 tuplas, o solo morir en ¿un incendio?

Answer 1

Si la UDF emite la excepción, la tarea fallará y se volverá a intentar.

Volverá a fallar tres veces más (4 intentos por defecto) y todo el trabajo será FALLADO.

Si desea registrar el error y no quieren tener la tarea interrumpida se puede devolver un nulo:

public Tuple exec(Tuple input) throws IOException { 
    try { 
     // do stuff with input 
    } catch (Exception e) { 
     System.err.println("Error with ..."); 
     return null; 
    } 
} 

y filtrarlos después en cerdo:

events_all = FOREACH logs GENERATE Extractor(line) AS line; 
events_valid = FILTER events_all by line IS NOT null; 
events = FOREACH events_valid GENERATE FLATTEN(line); 

En su ejemplo la salida solo tendrá las dos líneas válidas (¡pero tenga cuidado con este comportamiento ya que el error solo está presente en los registros y no va a fallar en su trabajo!).

Responder al comentario # 1:

En realidad, toda la tupla resultante sería nulo (lo que no hay campos en el interior).

Por ejemplo si el esquema tiene 3 campos:

events_all = FOREACH logs 
       GENERATE Extractor(line) AS line:tuple(a:int,b:int,c:int); 

y algunas líneas son incorrectos que se pueden conseguir:

() 
((1,2,3)) 
((1,2,3)) 
() 
((1,2,3)) 

Y si no filtrar la línea nula y se intenta acceder un campo se obtiene una java.lang.NullPointerException:

events = FOREACH events_all GENERATE line.a;