¿Qué tan confiables son los archivos de registro de acceso de Amazon s3?

Question

Nos estamos moviendo a s3 para comenzar a servir parte del contenido generado estáticamente para nuestra aplicación web. Hemos estado buscando un mecanismo para construir un sistema métrico sobre el uso de nuestro sitio y estábamos planeando analizar los registros de acceso para S3 al pasar información adicional para que se registre en las solicitudes GET de contenido. Nos pasó a través de la siguiente entry in the developers guide:

Mejor Esfuerzo de registro del servidor de entrega

La función de acceso a registro del servidor está diseñado para mejor esfuerzo. Puede esperar que la mayoría de las solicitudes en un cubo que está configurado correctamente para registro se traducirá en una entrada de registro entregado , y que la mayoría de los registros de registro se será entregado a las pocas horas de la hora que fueron grabadas.

Sin embargo, la función de registro del servidor es ofrecida sobre la base del mejor esfuerzo. La integridad y la puntualidad del del servidor no están garantizadas. El registro registro para una solicitud particular podría ser entregado mucho después de que la solicitud se procesó realmente, o podría no entregarse en absoluto. El propósito de los registros del servidor es dar al propietario del cubo una idea de la naturaleza del tráfico contra su cubo. No es destinado a ser una contabilidad completa de todas las solicitudes.

¿Nos preguntamos qué han experimentado otras personas con respecto a la entrega de los registros de acceso? Nuestra alternativa es construir un servidor HTTP e intentar medir las métricas con una llamada diferente, pero creemos que el análisis de los archivos de registro podría ser menos efectivo. Nos gustaría saber si las personas han visto situaciones en las que no se realizó la entrega para tratar de evaluar cuán precisos podríamos esperar porque algunas de las métricas que recopilamos se usan en algunos de nuestros procesos comerciales.

Answer 1

Me sorprendió lo grande que habían llegado mis archivos de registro en S3 en menos de un mes. No fue necesario que mi aplicación analizara los registros en Amazon, pero me gusta su enfoque. Por lo que he visto, puede esperar que los archivos de registro sean precisos y completos. Según su advertencia de CYA, los registros no deben usarse para nada crítico.

Answer 2

Sé que esto no es una respuesta a su pregunta, pero ...

A menos que sus archivos estáticos requieren algún tipo de autorización (URL firmados para descargas, etc.), no veo un buen uso de los casos de usa S3 para servir contenido estático.

No es un CDN y no está destinado a ser utilizado como uno solo. ;-)

Por lo menos, recomendaría utilizar cloudfront pero en mi humilde opinión es demasiado caro (y no funciona muy bien en comparación con otros). Recomendaría a alguien como edgecast o cachefly ya que ofrecen más por su dinero. \

También le proporcionan (más o menos) extensas propiedades estáticas y muchas características agradables como la purga fácil y la invalidación de su caché.

Answer 3

Hemos estado utilizando S3 para registrar cantidades relativamente grandes de datos (en el orden de 100M filas).Teníamos que depender de los registros de acceso S3 para un propósito específico y que estamos observando algunas cuestiones que podrían ser importantes para los potenciales usuarios de los registros de acceso a tener en cuenta:

• Vemos entradas (pocos) de registro que muestre hasta muchos días después de que se supone que deben ser creados
• vemos entradas duplicadas registro de una sola transacción S3 (investigando)
• también parece que hay casos en los que en realidad no se crea una entrada de registro (que investigan actualmente)

Mi recomendación es evitar confiar en Registros de acceso S3 si la precisión e integridad de los datos es crítica.