¿Cómo puede una aplicación en EC2 detectar automáticamente las instancias de ElastiCache?

Question

Supongamos que tengo una aplicación web ejecutándose en algunos servidores EC2 de carga equilibrada, almacenando y recuperando metadatos de SimpleDB con grandes cantidades de datos almacenados en S3 (debido a la limitación de 1 KB de SimpleDB). Como S3 tiene una latencia bastante alta y no quiero hacer un montón de solicitudes allí, querré una capa de almacenamiento en caché para la información ... ingrese ElastiCache.

Ok, aprovisiono un servidor ElastiCache con el punto final X, así que codigo X en mi aplicación en EC2 y funciona felizmente hasta que recibo unos cientos de miles de nuevos usuarios y de repente mi servidor de caché tiene poco poder para la demanda . Afortunadamente, puedo iniciar algunos nuevos servidores de caché más grandes ... pero luego me doy cuenta de que tengo los puntos finales X, Y y Z y mi aplicación solo sabe para probar X, así que todavía tengo un problema.

Así que en este momento estoy tratando de meter mi cabeza alrededor de las diversas piezas de este rompecabezas, y todavía no he llegado a la parte de codificación, pero ¿no será esto un problema? He leído la documentación de ElastiCache y menciona que se trata de un clúster de caché, pero cada servidor del clúster parece tener su propio punto final. ¿Hay alguna manera de que una aplicación que se ejecuta en EC2 conozca todos los servidores de caché que se están ejecutando, y más al punto que uno contiene los datos de una clave en particular? ¿Es posible pedirle al clúster como un todo que almacene o recupere una información?

Answer 1

Hoy Aws anunció el descubrimiento de caché. Tu problema está resuelto http://aws.typepad.com/aws/2012/11/amazon-elasticache-now-with-auto-discovery.html.

Answer 2

Si su aplicación se implementa desde versioncontrol (espero que lo sea), simplemente edite el archivo de configuración y vuelva a implementar la aplicación. No veo un gran problema con este enfoque, pero tal vez me falta lo obvio.

Avísame.

Answer 3

Amazonstica Elasticache Autodescubrimiento es absolutamente horrible. Es básicamente imposible de instalar, lo cual es una locura porque debería ser muy simple.

Escribí una función simple en PHP para generar una URL de nodo elasticache dada la cantidad de nodos que tiene en ejecución. Sí, tienes que actualizar tu código si cambias la cantidad de nodos (o quizás coloques este valor en un env var).

Al trazar las mismas claves a los mismos nodos:

function get_elasticache_node_url($key, $config_url, $num_nodes) { 
    $node = hexdec(substr(md5($key), 0, 15)) % $num_nodes + 1; 
    $nodestr = str_pad($node, 4, "0", STR_PAD_LEFT); 
    return str_replace('.cfg.','.'.$nodestr.'.',$config_url); 
} 

$num_nodes = 10; 
$config_url = 'cluster-name.xyzxyz.cfg.use1.cache.amazonaws.com'; 

echo get_elasticache_node_url("key1", $config_url, $num_nodes); 
echo get_elasticache_node_url("key2", $config_url, $num_nodes); 

Salida:

cluster-name.xyzxyz.0001.use1.cache.amazonaws.com 
cluster-name.xyzxyz.0004.use1.cache.amazonaws.com