Estoy buscando la forma más rápida de transferir ~ 100,000 imágenes de un servidor a mi cubo Amazon S3.Transfiriendo 100.000 imágenes a S3. ¿Cuál es la forma más rápida?
¿Sería eso recorrer todas las imágenes y hacer una solicitud de PUT por separado? Esperaba que hubiera una manera más rápida, pero no he encontrado nada.
No está familiarizado con S3, pero si no hay una herramienta de carga masiva, puede acelerar las cosas colocando un bucle sobre sus imágenes en múltiples procesos paralelos, hasta que maximice su conexión de red.
Puede intentar usar el control de carga por lotes Image Uploader. O si esta es una tarea de una sola vez, considero usar algunos Amazon sample.
De todos modos, si desea utilizar la solicitud PUT/POST para cargar, un archivo por solicitud - es la restricción API de Amazon y me parece que no hay nada que hacer.
¿Quizás intente con el snail mail?
Nosotros (CloudOpt) construyeron una solución para optimizar la transferencia de datos en Amazon S3 llama CloudOptimizer. Utiliza deduplicación simétrica, compresión y muchas otras técnicas. Echa un vistazo y cuéntame lo que piensas. Me encantaría obtener tu punto de vista.
s3funnel. Utilicé esto la semana pasada para transferir alrededor de 3.000.000 de imágenes a S3. Es multihilo, por lo que tiende a ser muy rápido. Probé varias herramientas comerciales y de código abierto, y s3funnel es con mucho la mejor IMO.
No veo una forma de apuntar a s3funnel en un directorio: ¿tuvo que construir manualmente una lista de sus 3.000.000 de archivos? –
No he usado s3funnel por un tiempo: la herramienta awscli ahora tiene opciones de sincronización S3, así que he estado usando eso en su lugar. –
IIRC correctamente, solo necesitaba transferir archivos a la raíz del contenedor en este caso. –
¿Qué pasa con ftp? –
@Robert Massaioli FTP no es compatible con S3. –