¿A veces falla la descarga de Amazon S3?

Question

Acabamos de agregar un autoupdater en nuestro software y recibimos un informe de error que dice que la actualización automática no se completó correctamente porque la suma de comprobación sha1 del archivo descargado no coincidía. Estamos alojados en Amazon S3 ...

Eso es algo malo con mi código o algo malo con S3.

Releí mi código para detectar cosas sospechosas y escribí una secuencia de comandos sencilla descargando y comprobando la suma de comprobación del archivo descargado, y de hecho recibí algunos errores de vez en cuando (1 de 40 ayer). Hoy parece estar bien.

¿Experimenta ese tipo de problema? ¿Hay algún tipo de solución?

información adicional: la prueba se ejecutó en Japón.

Answer 1

Aparte del tiempo de inactividad de hace unas semanas. Ninguno de los que he oído hablar.
Hicieron un buen trabajo teniendo en cuenta que la única vez que se cayó fue debido a un oscuro error del servidor que se extendió por toda la nube. Fueron muy abiertos al respecto y lo resolvieron tan pronto como se enteraron. (Sucedió durante un fin de semana, iirc)

Por lo tanto, son bastante confiables. Mi consejo es verificar tu código. Y créelo al soporte de Amazon si todavía es un problema.

Answer 2

Estoy de acuerdo, la verificación cuádruple de su código sería una buena idea. No digo que no pueda suceder, pero no creo haberlo visto nunca, y ahora he usado S3 bastante bien. Sin embargo, he administrado mal algunas excepciones/interrupciones de conexión varias veces y terminé con piezas que no coincidían con lo que esperaba.

Estaría muy sorprendido si en realidad envían datos incorrectos, pero, como siempre, todo es posible.

Answer 3

Más que enviar datos erróneos, creo que obtuve un ERROR403. Si solo vuelvo a intentarlo, generalmente está bien.

Y estoy de acuerdo: vi un montón de informes sobre personas que hablaban de amazon totalmente inactivo, pero nadie hablaba de un error "a veces mi acceso se rechazó", así que supongo que podría haber un error de mi parte. Acabo de configurar el registro en Amazon.

De todos modos, gracias! Seguiré tu consejo y dejaré de culpar al "otro tipo".

Answer 4

Ocasionalmente recibo errores 404 inesperados con OBTENER objetos que son parte de una LISTA precedente pero nuevos en el depósito y otros mensajes misceláneos. errores (p. ej .: 403 en mi id de acceso y clave secreta), pero nada catastrófico.

Mi código se ejecuta en el lado del servidor, así que he implementado un buen manejo de errores y registro. Creo que es una buena idea hacer en cualquier momento tiene un servidor en la red que se comunica con otro servidor. : P

Answer 5

El S3 de Amazon ocasionalmente fallará con errores durante las cargas o descargas, generalmente "500: Servidor interno". La tasa de error normalmente es bastante baja, pero puede aumentar si el servicio tiene una gran carga. La tasa de error nunca es 0%, por lo que incluso en el mejor de los casos, la solicitud ocasional fallará.

¿Está revisando el código de respuesta HTTP en su copia de seguridad automática? De lo contrario, debe verificar que su descarga haya tenido éxito (HTTP 200) antes de realizar una suma de comprobación. Idealmente, su aplicación debería volver a intentar descargas fallidas, ya que los errores transitorios son una "característica" inevitable de S3 que los clientes deben manejar.

Vale la pena señalar que si sus clientes obtienen 500 errores, probablemente no verá ninguna evidencia de estos en los registros del servidor S3. Estos errores parecen ocurrir antes de que la solicitud llegue al componente de registro del servicio.

Answer 6

Nunca se supo de un problema durante la descarga. Eso es raro. Recibo TONELADAS de 500 mensajes de error interno del servidor al cargar. Es por eso que tengo un daemon que sube mientras el usuario está haciendo otra cosa.

No parece ser algo en su código, tal vez hay algo que no encaja con el S3 (o con S3-> Japón.)

Usted puede intentar disparar un servidor EC2, y basta con ejecutar la prueba a partir de ahí (el tráfico no costará dinero, ¡así que usa todo lo que quieras!) y ve si recibes errores. Si lo haces, entonces no tienes suerte y S3 no es para ti :)

¡Buena suerte!

Answer 7

bien, esto es un poco viejo ahora, pero como referencia. Acabo de ejecutar una migración de datos de varios gigs de datos desde un servidor EC2 directamente a s3. Recibo 500 errores cada 10 minutos aproximadamente, lo que representa una tasa de error de aproximadamente el 1% de PUT. Entonces, sí, S3 tiene un problema con 500 errores.

No he hecho mucho en el camino de GET, así que no puedo comentar