Iniciar sesión en Amazon S3

Question

¿Alguien ha creado, o alguien sabe cómo crear, un marco de trabajo de registro que deposite los archivos de registro en Amazon S3?

Estamos construyendo una aplicación SaaS, y, naturalmente, planeamos tener un trillón de servidores y clientes. Me gustaría simplificar toda la estructura de registro. Por el momento, utilizamos SLF4j para el registro y el Logback como la implementación del registro real.

Estoy pensando en que podríamos incluir otra implementación que acumularía mensajes de registro en la memoria, los comprimiría y luego los cargaría a S3. Si la conexión S3 fuera lenta o lenta, la implementación pondría en cola los archivos en el disco. Algo así como el Escriba de Facebook.

Supongo que me llevaría cuatro o cinco días escribir y probar esto. Si hay otra implementación, me encantaría saberlo.

Answer 1

Hay un complemento para fluentd que almacena archivos en s3. (Fluentd es un buen "colector archivo de registro")

Lea más sobre esto aquí: http://docs.fluentd.org/articles/apache-to-s3

Si la conexión S3 está inactivo o retardar el fluentd file buffer amortiguará la salida para usted.

Answer 2

Estaba buscando en google la misma pregunta. Pero aparentemente estoy un poco mejor. Sé cómo iniciar sesión en S3. No hay una solución lista para usar.

me sugieren algo así como fusible para s3 para montar su syslog: https://github.com/s3fs-fuse/s3fs-fuse

Ahora todo lo que necesita es montar también en su sistema de registro-analizador que puede ser cualquiera de los sistemas off-the-shelf que puede leer los registros de un directorio.

Esto es lo que se me ocurrió.

Lo que todavía estoy buscando antes de implementar es el problema de rendimiento de tal registro en S3 ya que AWS tiene sus propios problemas. Hubo una discusión sobre cómo configurar el tamaño de bloque/archivo para mejorar el rendimiento y reducir el costo de lectura/escritura. Espero que ayude a otra alma perdida.