Si está utilizando Apache ZooKeeper, ¿para qué lo usa?

Question

¿Alguien está usando ZooKeeper para sus sitios? Si lo haces, ¿para qué lo usas? solo quiero ver un caso real de uso de palabras?

Answer 1

La página ZooKeeper "PoweredBy" tiene algún detalle que le puede resultar interesante: http://wiki.apache.org/hadoop/ZooKeeper/PoweredBy

HBase utiliza ZK y es de código abierto (Apache) que permitiría que mire código real. http://hbase.apache.org/

Answer 2

Usted puede estar interesado en el artículo científico publicado recientemente sobre ZooKeeper:

http://research.yahoo.com/node/3280

El documento también describe tres casos de uso y los proyectos comparables.

Usamos ZK como una dependencia de HBase y hemos implementado una cola de trabajo programada para un lector de feeds (millones de feeds) con ella.

Answer 3

Acabo de comenzar a investigar sobre el uso de Zookeeper en una serie de casos en la infraestructura de mi empresa.

El que parece encajar mejor en ZK es donde tenemos una matriz de más de 30 servidores de contenido dinámico que dependen en gran medida del almacenamiento en caché basado en archivos (Memcached es demasiado lento). Cada uno de estos servidores tendrá un agente observando una ruta ZK específica y cuando aparece un nuevo nodo, todos los servidores se unen en un bloqueo de barrera, y una vez que todos estén presentes, todos actualizan su configuración al mismo tiempo. De esta forma, podemos mantener la coherencia entre los 30 servidores de configuración/estados de ejecución.

Segundo caso de uso, recibimos 45-70 millones de visualizaciones de página por día en un patrón típico de curva de campana. La estrategia de almacenamiento en caché implementada cae del cliente, a CDN, a Memcache y luego a la caché de archivos antes de determinar cuándo hacer una llamada a un DB. Incluso con una serie de bloqueos en su lugar, es bastante típico tener condiciones de carrera (los he apodado estampidas) que pueden forzar nuestro back-end. La esperanza es que ZK pueda proporcionar una herramienta para desarrollar un servicio de bloqueo consistente y unificado a través de múltiples servidores y tal vez centros de datos.