Problemas Tamaño de fragmento en Google del sistema de archivos

Question

Google File System Paper -

tamaño del fragmento es uno de los parámetros clave de diseño . Hemos elegido 64 MB, , que es mucho más grande que los tamaños típicos de los bloques del sistema . Cada fragmento se almacena como un archivo simple Linux en un servidor chunkserver y se amplía solo según sea necesario. La asignación de espacio diferido evita el desperdicio de espacio debido a la fragmentación interna de , quizás la mayor objeción de frente a un fragmento tan grande de tamaño.

¿Qué es la asignación de espacio vago y cómo va a resolver el problema de la fragmentación interna?

Un archivo pequeño consiste en un pequeño cantidad de fragmentos, quizás solo uno. Los chunkservers almacenar esos trozos pueden convertirse en puntos calientes si muchos clientes acceden al mismo archivo ... Nos fijos este problema mediante el almacenamiento de dichos ejecutables con un alto factor de replicación y al hacer la solicitud por lotes cola tambalearse sistema comenzar veces.

¿Qué significa el asombroso tiempo de inicio de las aplicaciones y cómo evita que los servidores de fragmentos se conviertan en puntos calientes?

Answer 1

La asignación de espacio diferido significa que el sistema de archivos en realidad no proporciona el espacio del archivo antes de que se escriba. Se les conoce comúnmente como sparse files. Por ejemplo, si solo se utilizan los primeros 2 MB del archivo de 64 MB, solo se usarán 2 MB en el disco.

Los tiempos de inicio de aplicación asombrosos solo significa que no comienzan todo a la vez. Si cada aplicación necesita leer algunos archivos de configuración almacenados en GFS al inicio, si todos comienzan al mismo tiempo, habrá problemas de carga. Difundir los tiempos de inicio alivia esto.