Un colega mío cree que HDFS no tiene un tamaño de archivo máximo, es decir, al dividir en trozos de 128/256 meg, cualquier tamaño de archivo puede almacenarse (obviamente, el disco HDFS tiene un tamaño que limitará, pero es ese el único límite). No puedo encontrar nada que diga que hay un límite, ¿está en lo cierto?Hadoop HDFS tamaño máximo de archivo
gracias, jim
no soy un experto en Hadoop, pero que yo sepa, no hay ninguna limitación explícita en un tamaño de archivo único, aunque hay factores implícitos tales como la capacidad de almacenamiento total y tamaño máximo del espacio de nombres. Además, puede haber citas administrativas sobre el número de entidades y tamaños de directorios. El tema de la capacidad HDFS está muy bien descrito en this document. Las cotizaciones se describen here y se discuten here.
Recomendaría prestar más atención al blog de Michael G Noll referido por el último enlace, cubre muchos temas específicos de hadoop.
Creo que tiene razón al decir que no hay un tamaño de archivo máximo en HDFS. Lo único que realmente puede establecer es el tamaño del fragmento, que es de 64 MB por defecto. Supongo que se pueden almacenar tamaños de cualquier longitud, la única restricción podría ser que cuanto mayor sea el tamaño del archivo, mayor será el hardware para acomodarlo.
Bueno, obviamente hay un límite práctico. Pero físicamente los ID de bloques de HDFS son Java longs , por lo que tienen un máximo de 2^63 y si su tamaño de bloque es de 64 MB, entonces el tamaño máximo es de 512 yottabytes.