amazon s3 partición de las mejores prácticas de archivos

Question

Afortunadamente una pregunta simple: disculpas si ya ha sido respondida, pero no apareció nada en la búsqueda.

En S3, ¿es mejor organizar imágenes en subdirectorios más pequeños, o simplemente guardarlas en un solo directorio? En un sistema de archivos típico, el espacio de nombres de las imágenes en los directorios para mejorar el rendimiento. Una estructura plana con miles de imágenes en un directorio normalmente no funciona bien. ¿Es este el caso en Amazon S3?

Puedo poner todas las imágenes de usuario en una carpeta de usuario, todas las imágenes de publicación en una carpeta de publicaciones, etc. O puedo poner imágenes de usuario en carpetas como users/{userId} para evitar tener miles de imágenes en una carpeta de usuarios.

Answer 1

Este es también un problema con Amazon S3, aunque solo para requisitos de almacenamiento significativos, consulte Amazon S3 Performance Tips & Tricks para obtener una respuesta detallada que incluya estrategias para particionar su espacio de objetos.

actualización (septiembre de 2013) - La información en el enlace anterior, mientras que todavía en gran parte precisa, ha sido suplantado por un documento más reciente, S3 Request Rate and Performance Considerations.

Answer 2

Vale la pena pensar en un esquema para dividirlo en archivos ... si no fuera por el simple hecho de tener una forma de filtrar tus archivos si quieres mirarlos manualmente.

Pero no dedique demasiado tiempo si está seguro de todas las formas en que necesitará acceder comúnmente a sus archivos ... Siempre puede migrar a un nuevo esquema más adelante.