Cómo obtener el nombre del archivo de entrada en MRjob

Question

Estoy escribiendo una función de mapa usando mrjob. Mi entrada vendrá de archivos en un directorio en HDFS. Los nombres de los archivos contienen una información pequeña pero crucial que no está presente en los archivos. ¿Hay alguna manera de aprender (dentro de una función de mapa) el nombre del archivo de entrada del cual proviene un par clave-valor?

Estoy buscando un equivalente de este código Java:

FileSplit fileSplit = (FileSplit)reporter.getInputSplit(); 
String fileName = fileSplit.getPath().getName(); 

gracias de antemano!

Answer 1

map.input.file propiedad dará el nombre de archivo de entrada.

Según la Hadoop - The Definitive Guide

Las propiedades se puede acceder desde la configuración del trabajo, obtenido en la antigua API MapReduce proporcionando una implementación del método configure() para Mapper o reductor, donde se pasa la configuración en como un argumento. En la nueva API, se puede acceder a estas propiedades desde el objeto de contexto pasado a todos los métodos de Mapper o Reducer.

Answer 2

Si está utilizando Hadoop 2.x con Python:

file_name = os.environ['mapreduce_map_input_file']