La mejor solución NoSQL para el registro

Question

Estoy trabajando en un proyecto que está registrando una gran cantidad de información sobre los espectadores desde una plataforma de transmisión en línea. El problema hoy con la solución MySQL es que es demasiado lento para realizar consultas, y tal. Incluso con la escala y un mejor ajuste del rendimiento, eso funcionará ahora porque hay mucha información en tiempo real que es de escritura/lectura.

¿Cuál será una buena (la mejor) solución NoSQL para mí?

adicional:

• También estamos utilizando actualmente los servicios web de Amazon, en los que almacenamos nuestros datos.
• Con Java API, se prefiere una solución de código abierto.
• Orientación a objetos.

Answer 1

No es exactamente una solución NoSQL, pero ¿ha mirado Scribe (desde Facebook)? Puede utilizar http://code.google.com/p/scribe-log4j/ escribir desde Java

Answer 2

me gustaría pasar algún tiempo a estas opciones:

• Cassandra
• MongoDB
• Hadoop

Todas estas soluciones tienen sus pros y contras, pero sus wikis deberían proporcionar suficiente información para comenzar.

Answer 3

El primer desafío que puede tener es cómo recopilar una gran cantidad de datos de manera confiable con facilidad de administración. Hay algunas de código abierto aplicación colector de registro como syslog, Fluentd, Scribe y Flume :)

El gran problema es cómo almacenar y procesar datos. Como señaló, el uso de la solución NoSQL funciona muy bien, pero debe elegir entre ellos dependiendo de su volumen de datos.

Al principio, puedes usar MongoDB para almacenar todos tus datos, pero en algún momento terminas usando Apache Hadoop para diseñar una arquitectura masivamente escalable.

El poing aquí es que debe tener una capa de registro distribuida que abstraiga el back-end de almacenamiento y elija la solución NoSQL adecuada para el volumen de datos.

Aquí hay algunos enlaces para poner los registros de Apache en MongoDB, o Hadoop HDFS de Fluentd.

• Store Apache Logs into MongoDB
• Fluentd + HDFS: Instant Big Data Collection