Archivos pequeños y bloques HDFS

Question

¿Almacena un bloque en el sistema de archivos distribuido Hadoop varios archivos pequeños, o un bloque almacena solo 1 archivo?

Answer 1

Múltiples archivos no se almacenan en un solo bloque. Por cierto, un solo archivo se puede almacenar en múltiples bloques. La asignación entre el archivo y los identificadores de bloque persiste en NameNode.

De acuerdo con la Hadoop : The Definitive Guide

A diferencia de un sistema de archivos para un solo disco, un archivo en HDFS que es más pequeño que un solo bloque no ocupa el valor de una manzana completa de almacenamiento subyacente.

HDFS está diseñado para manejar archivos de gran tamaño. Si hay demasiados archivos pequeños, es posible que se cargue NameNode, ya que almacena el espacio de nombre para HDFS. Compruebe esto article sobre cómo aliviar el problema con demasiados archivos pequeños.

Answer 2

Bien podría hacerlo utilizando el sistema de archivos HAR (Hadoop Archive) que intenta empaquetar múltiples archivos pequeños en el bloque HDFS del archivo de pieza especial administrado por el sistema de archivos HAR.

Answer 3

Un bloque almacenará un solo archivo. Si su archivo es más grande que BlockSize (64/128/..) entonces se dividirá en varios bloques con el tamaño de bloque respectivo.

Answer 4

El punto principal necesidad de entender en hdfs, file is partioned into blocks based on size y no es que habrá algunos bloques en memoria, donde se almacenan los archivos (esto es error)

Básicamente varios archivos no se almacenan en un solo bloque (a menos que sea archivo Archive o Har)

Answer 5

El tamaño del bloque de Hadoop es el concepto de almacenamiento de Hadoop. Cada vez que almacene un archivo en Hadoop se dividirá en los tamaños de bloque y, según el factor de replicación y la localidad de datos, se distribuirá a través del clúster.

Para Detalles:

• cuando se presiona un archivo de HDFS, que se divide en bloques. Cada bloque es como un archivo individual que tiene un tamaño máximo según lo describe el tamaño del bloque.

• Cada bloque contendrá un archivo .meta junto con él, para almacenar la información de metadatos del bloque en Hadoop.

• Si el archivo es muy pequeño, todo el archivo estará en un bloque y el bloque (un archivo de almacenamiento) tendrá el mismo tamaño que el archivo y un archivo Meta.

algunos comandos:

• conectarse a cualquier nodo de datos en el clúster [si tiene acceso;)]. Luego vaya a los directorios de almacenamiento para ese nodo y podrá ver los bloques reales almacenados en el nodo de datos como se muestra a continuación.

(Dir son según mi grupo -/data2/dfs/dn /):

tamaño de bloque: 1 GB

cd/data/dfs/dn -> actual -> finalizada -> subDir0 -> (aquí es el oro)

Bloque utiliza sólo KB de almacenamiento para archivos pequeños o podría ser cuando el tamaño del archivo es de mi tamaño de bloque + de algunos KB

-rw-r - r-- 1 hdfs hdfs 91K Sep 13 16:19 blk_1073781504

-rw-r - r-- 1 HDFS hdfs 19K Sep 13 16:21 blk_1073781504_40923.meta

Cuando el archivo es más grande que el tamaño de bloque del bloque se ve como algo tan por debajo de

-rw-r - r-- 1 hdfs hdfs 1.0G Ago 31 de 12:03 blk_1073753814

-RW -r - r-- 1 hdfs hdfs 8.1M 31 de agosto 12:04 blk_1073753814_12994.meta

Espero que explique las cosas de almacenamiento en bloque. Si desea conocer el detalle de cómo se almacenan los archivos en los bloques a continuación, ejecutar

HDFS -blocks fsck -locations

Quiero saber si me perdí nada aquí.