¿Cómo se lee el archivo secuencial de hadoop?

Question

Tengo un archivo secuencial que es el resultado del trabajo hadoop map-reduce. En este archivo, los datos se escriben en pares de valores clave, y el valor en sí es un mapa. Quiero leer el valor como un objeto MAP para que pueda procesarlo más.

Configuration config = new Configuration(); 
    Path path = new Path("D:\\OSP\\sample_data\\data\\part-00000"); 
    SequenceFile.Reader reader = new SequenceFile.Reader(FileSystem.get(config), path, config); 
    WritableComparable key = (WritableComparable) reader.getKeyClass().newInstance(); 
    Writable value = (Writable) reader.getValueClass().newInstance(); 
    long position = reader.getPosition(); 

    while(reader.next(key,value)) 
    { 
      System.out.println("Key is: "+textKey +" value is: "+val+"\n"); 
    } 

salida del programa: Clave es: [esto es clave] valor es: {abc = 839177, xyz = 548 498, LMN = 2, PQR = 1} valor

Aquí estoy recibiendo como cadena , pero lo quiero como un objeto de mapa.

Answer 1

Consulte la documentación de la API para SequenceFile#next(Writable, Writable)

while(reader.next(key,value)) 
{ 
     System.out.println("Key is: "+textKey +" value is: "+val+"\n"); 
} 

debe sustituirse por

while(reader.next(key,value)) 
{ 
     System.out.println("Key is: "+key +" value is: "+value+"\n"); 
} 

Uso SequenceFile.Reader#getValueClassName para obtener el tipo de valor en el SequenceFile. SequenceFile tiene los tipos clave/valor en el encabezado del archivo.