Mover 1 millón de archivos de imagen a Amazon S3

Question

Ejecuto un sitio web para compartir imágenes que tiene más de 1 millón de imágenes (~ 150GB). Actualmente estoy almacenando estos en un disco duro en mi servidor dedicado, pero me estoy quedando rápidamente sin espacio, así que me gustaría moverlos a Amazon S3.

He intentado hacer un RSYNC y RSYNC tardó más de un día en escanear y crear la lista de archivos de imagen. Después de otro día de transferencia, solo había completado un 7% y había ralentizado mi servidor hasta el último momento, así que tuve que cancelarlo.

¿Hay una mejor manera de hacerlo, como GZIP a otro disco duro local y luego transferir/descomprimir ese único archivo?

También me pregunto si tiene sentido almacenar estos archivos en múltiples subdirectorios o ¿está bien tener todos los millones de archivos en el mismo directorio?

Answer 1

1. Dado que no existen los archivos (aún) en S3, enviarlos como un archivo de almacenamiento debe ser más rápido que el uso de un protocolo de sincronización.

2. Sin embargo, comprimir el archivo no ayudará mucho (si es que lo hace) para los archivos de imagen, suponiendo que los archivos de imagen ya estén almacenados en un formato comprimido como JPEG.

3. Transmitiendo ~ 150 Gbytes de datos va a consumir una gran cantidad de ancho de banda de red durante mucho tiempo. Esto será lo mismo si intenta usar HTTP o FTP en lugar de RSYNC para hacer la transferencia. Una transferencia fuera de línea sería mejor si es posible; p.ej. enviar un disco duro, o un conjunto de cintas o DVD.

4. Poner un millón de archivos en un directorio plano es una mala idea desde el punto de vista del rendimiento. mientras que algunos sistemas de archivos manejarían esto bastante bien con O(logN) veces de búsqueda de nombre de archivo, otros no con O(N) búsqueda de nombre de archivo. Multiplica eso por N para acceder a todos los archivos en un directorio. Un problema adicional es que las utilidades que necesitan acceder a los archivos en orden de nombres de archivos pueden disminuir significativamente si necesitan clasificar un millón de nombres de archivo. (Esto puede explicar en parte por qué rsync tomó 1 día para hacer la indexación.)

5. Poner todos sus archivos de imagen en un directorio es una mala idea desde una perspectiva de administración; p.ej. para hacer copias de seguridad, archivar cosas, mover cosas de un lado, la expansión en varios discos o sistemas de archivos, etc.

Answer 2

Una opción que puede usar en lugar de transferir los archivos a través de la red es ponerlos en un disco duro y enviarlos al servicio import/export de Amazon. Usted no tiene que preocuparse por saturar la conexión de su servidor de red, etc.

Answer 3

Una opción podría ser la de realizar la migración de un modo vago.

• Todas las imágenes nuevas van a Amazon S3.
• Cualquier solicitud de imágenes que aún no estén en Amazon desencadenará una migración de esa imagen a Amazon S3. (ponerlo en cola)

Esto debería llevar rápidamente todas las imágenes recientes o comúnmente trasladadas a Amazon y reducirá la carga en su servidor. A continuación, puede agregar otra tarea que migre a los demás lentamente cada vez que el servidor esté menos ocupado.