pylibmc: 'Afirmación' ptr-> query_id == query_id +1 "error de la función" memcached_get_by_key "'

Question

Tengo una aplicación web de Python que usa pylibmc module para conectarse a un servidor memcached. Si pruebo mi aplicación con solicitudes una vez por segundo o más lento, todo funciona bien. Si envío más de una solicitud por segundo, sin embargo, mis aplicación se bloquea y veo lo siguiente en los registros de mi:

aserción "ptr-> query_id == query_id 1" no para la función "memcached_get_by_key" probable para "Error del programador, el query_id no se incrementó", en libmemcached/get.cc: 107

Aserción "ptr-> query_id == query_id +1" error de la función "memcached_get_by_key" likely for "Error del programador, query_id no se incrementó. ", en libmemcached/get.cc: 89

¿Alguna idea de qué está fallando o cómo solucionarlo?

Mi código es el siguiente:

self.mc = pylibmc.Client(
    servers=[os.environ.get(MEMCACHE_SERVER_VAR)], 
    username=os.environ.get(MEMCACHE_USER_VAR), 
    password=os.environ.get(MEMCACHE_PASS_VAR), 
    binary=True 
    ) 

#... 

if (self.mc != None): 
    self.mc.set(key, stored_data) 

#... 

page = self.mc.get(key) 

Answer 1

Este es un tema de roscado. pylibmc clients are not thread-safe. Debe convertir su código para usar un ThreadMappedPool object para asegurarse de mantener una conexión separada para cada hilo. Algo como esto:

mc = pylibmc.Client(
    servers=[os.environ.get(MEMCACHE_SERVER_VAR)], 
    username=os.environ.get(MEMCACHE_USER_VAR), 
    password=os.environ.get(MEMCACHE_PASS_VAR), 
    binary=True 
    ) 
self.pool = pylibmc.ThreadMappedPool(mc) 

#... 

if (self.pool != None): 
    with self.pool.reserve() as mc: 
     mc.set(key, stored_data) 

#... 

if (self.pool != None): 
    with self.pool.reserve() as mc: 
     page = mc.get(key) 

Asegúrese de llamar self.pool.relinquish() cuando se termina el hilo, posiblemente en el destructor!

(En mi caso esto sucedió porque estaba usando cherrypy que mi servidor web, y cherrypy desova 10 hilos separados para servir peticiones por defecto.)

Answer 2

me encontré con el mismo problema de funcionamiento Django en Apache. Cambiar de pylibmc a python-memcached eliminó el problema para mí.