cómo encontrar el archivo de BlockName en HDFS hadoop

Question

Cuál es la forma más fácil de encontrar el archivo asociado a un bloque en HDFS dado un bloque Nombre/ID

Answer 1

La forma larga y dolorosa, suponiendo que tiene acceso de lectura a todos los archivos (y lo ejecuta para los directorios):

hadoop fsck/-files -blocks | grep blk_520275863902385418_1002 -B 20 

a continuación, analizar una copia de seguridad de su partido de bloque para el nombre del archivo anterior:

/hadoop/mapred/system/jobtracker.info 4 bytes, 1 block(s): OK 
0. blk_520275863902385418_1002 len=4 repl=1 

En este caso blk_5202 ... es parte de la /hadoop/mapred/system/jobtracker.info archivo

Programáticamente, no es una interfaz para el nodo de nombre que le permite buscar por ID de bloque, pero podría buscar en el origen para el nodo de nombre secundario y ver cómo consolida las ediciones - luego experimentar en la salida guardada del nodo de nombre secundario (en lugar de arriesgarse a trabajar en el archivo de nodo de nombre real).

¡Buena suerte!

Answer 2

No

seguro cuando este se introdujo, pero se puede hacer esto

hdfs fsck -blockId <block_id> 

hdfs fsck -blockId blk_1100790203 
Connecting to namenode 
FSCK started by hdfs 

Block Id: blk_1100790203 
Block belongs to: /common/FFL1447685899336.txt