Windows Azure Cloud Storage - Impacto de una gran cantidad de archivos en la raíz

Question

Disculpe si me sale mal la terminología aquí, pero con suerte obtendrá lo que quiero decir.

Estoy usando Windows Azure Cloud Storage para almacenar una gran cantidad de archivos pequeños (imágenes, 20 Kb cada uno).

En este momento, todos estos archivos están almacenados en el directorio raíz. Entiendo que no es un sistema de archivos normal, por lo que quizás root no sea el término correcto.

He tratado de encontrar información sobre los efectos a largo plazo de este plan, pero sin suerte, de modo que si alguien me puede dar alguna información, le agradecería.

Básicamente, ¿me voy a encontrar con problemas si los números de archivos almacenados en esta raíz terminan en cientos de miles/millones?

Gracias,

Steven

Answer 1

He estado en una situación similar donde estábamos almacenando ~ 10M archivos pequeños en un contenedor de blob. El acceso a archivos individuales a través del código estaba bien y no hubo ningún problema de rendimiento.

Donde tuvimos problemas fue con la gestión de muchos archivos fuera del código. Si está utilizando un explorador de almacenamiento (ya sea el que viene con VS2010 o cualquiera de los demás), los que he encontrado no admiten los archivos devueltos por la API de prefijos, solo puede listar los primeros 5K, luego el próximo 5K y así sucesivamente. Puede ver cómo podría ser un problema cuando quiera ver el archivo número 125,000 en el contenedor.

El otro problema es que no hay una manera fácil de descubrir cuántos archivos hay en el contenedor (lo que puede ser importante para saber cuánto le cuesta todo ese almacenamiento blob) sin escribir algo que simplemente itere todos los blobs y los cuenta.

Este fue un problema fácil de resolver para nosotros ya que nuestros blobs tenían nombres numéricos secuenciales, por lo que simplemente los hemos dividido en carpetas de 1k elementos cada uno. Según la cantidad de elementos que tenga, puede agrupar 1K de estas carpetas en subcarpetas.

Answer 2

http://social.msdn.microsoft.com/Forums/en-US/windowsazure/thread/d569a5bb-c4d4-4495-9e77-00bd100beaef

respuesta Corto Sin

Medio Respuesta: Kindof?

Respuesta larga: No, pero si consulta una lista de archivos, solo devolverá 5000. Deberá volver a consultar cada 5k para obtener una lista completa de acuerdo con esa página de MSDN.

Editar: La raíz funciona bien para describirlo. El 99.99% de las personas asimilará lo que intentas decir.