2011-12-28 17 views
27

Podría estar totalmente equivocado, pero mi entendimiento de cómo las tiendas de caché solían funcionar antes de que comenzaran a agregar características de persistencia, es que los artículos caducarían en función de su ttl. Y si la tienda comenzara a llenar la memoria RAM disponible, cada uno tendría sus algoritmos para caducar las claves menos "importantes" en la tienda.¿Cómo funciona Redis cuando la RAM comienza a llenarse?

Ahora leo que Redis tiene características de persistencia. Pero puedes apagarlos. Suponiendo que apaga la persistencia, ¿qué sucede cuando la memoria RAM se llena? ¿Cómo decide Redis qué expirará?

Espero tener muchos datos sin TTL y quiero asegurarme de que sea seguro dejar que Redis sepa qué caducar.

Respuesta

35

No creo que la cuestión está relacionada con la gestión de memoria virtual, pero más sobre la caducidad de los elementos de Redis, que es un tema totalmente diferente.

Al contrario de memcached, Redis no es solo un caché. Por lo tanto, se supone que el usuario debe elegir la política de desalojo del artículo utilizando varios mecanismos. Puede desalojar todos sus artículos, o solo una parte de ellos.

La política general debe ser seleccionado en el archivo de configuración con los parámetros MaxMemory y MaxMemory de política, medida aquí descrito a continuación:

# Don't use more memory than the specified amount of bytes. 
# When the memory limit is reached Redis will try to remove keys with an 
# EXPIRE set. It will try to start freeing keys that are going to expire 
# in little time and preserve keys with a longer time to live. 
# Redis will also try to remove objects from free lists if possible. 
# 
# If all this fails, Redis will start to reply with errors to commands 
# that will use more memory, like SET, LPUSH, and so on, and will continue 
# to reply to most read-only commands like GET. 
# 
# WARNING: maxmemory can be a good idea mainly if you want to use Redis as a 
# 'state' server or cache, not as a real DB. When Redis is used as a real 
# database the memory usage will grow over the weeks, it will be obvious if 
# it is going to use too much memory in the long run, and you'll have the time 
# to upgrade. With maxmemory after the limit is reached you'll start to get 
# errors for write operations, and this may even lead to DB inconsistency. 
# 
maxmemory <bytes> 

# MAXMEMORY POLICY: how Redis will select what to remove when maxmemory 
# is reached? You can select among five behavior: 
# 
# volatile-lru -> remove the key with an expire set using an LRU algorithm 
# allkeys-lru -> remove any key accordingly to the LRU algorithm 
# volatile-random -> remove a random key with an expire set 
# allkeys->random -> remove a random key, any key 
# volatile-ttl -> remove the key with the nearest expire time (minor TTL) 
# noeviction -> don't expire at all, just return an error on write operations 
# 
# Note: with all the kind of policies, Redis will return an error on write 
#  operations, when there are not suitable keys for eviction. 
# 
#  At the date of writing this commands are: set setnx setex append 
#  incr decr rpush lpush rpushx lpushx linsert lset rpoplpush sadd 
#  sinter sinterstore sunion sunionstore sdiff sdiffstore zadd zincrby 
#  zunionstore zinterstore hset hsetnx hmset hincrby incrby decrby 
#  getset mset msetnx exec sort 
# 
# The default is: 
# 
maxmemory-policy volatile-lru 

# LRU and minimal TTL algorithms are not precise algorithms but approximated 
# algorithms (in order to save memory), so you can select as well the sample 
# size to check. For instance for default Redis will check three keys and 
# pick the one that was used less recently, you can change the sample size 
# using the following configuration directive. 
# 
maxmemory-samples 3 

Entonces expiración elemento individual se puede establecer utilizando los siguientes comandos: EXPIRE EXPIREAT La propiedad de expiración por artículo es útil con políticas volátiles- *. La caducidad también puede eliminarse usando PERSIST.

La propiedad de caducidad agrega una ligera sobrecarga de memoria, por lo que debe usarse solo si es necesario.

Finalmente, vale la pena mencionar que una parte de un objeto no puede expirar, solo el objeto completo en sí mismo. Por ejemplo, una lista completa o conjunto correspondiente a una clave puede expirar, pero la lista individual o los elementos configurados no pueden.

+0

Excelente, gracias. Entonces, el algoritmo LRU en defecto es exactamente lo que yo quería. Solo necesita configurarlo para que sea un servidor 'estatal'. – joedevon

2

Lea el capítulo Virtual Memory de la documentación de Redis. La parte pertinente:

El ajuste El ajuste vm-max-memoria VM-max-memoria especifica la cantidad de memoria Redis es libre de utilizar antes de iniciar los valores intercambiar en el disco.

Básicamente si no se alcanza este límite de memoria, no se intercambiará ningún objeto, Redis funcionará con todos los objetos en la memoria como de costumbre. Sin embargo, una vez que se alcanza este límite, se intercambian suficientes objetos para devolver la memoria justo por debajo del límite.

Los objetos intercambiados son principalmente los que tienen la mayor "edad" (es decir, el número de segundos desde que no se han utilizado), pero la "capacidad de intercambio" de un objeto también es proporcional al logaritmo de su tamaño en memoria. Entonces, aunque se prefieren los objetos más antiguos, los objetos más grandes se intercambian primero cuando tienen más o menos la misma edad.

ADVERTENCIA: Debido a que las claves no se pueden intercambiar, Redis no podrá respetar la configuración de vm-max-memory si solo las teclas están usando más espacio que el límite.

El mejor valor para esta configuración es suficiente RAM para contener el "conjunto de trabajo" de datos. En términos prácticos, solo da a Redis tanta memoria como puedas, y el intercambio funcionará mejor.

ACTUALIZACIÓN En cuanto a Redis 2,4 (Parece que la documentación oficial en Redis sitio no se actualiza a la versión), no se recomienda el uso de VM.

redis.conf dice:

### WARNING! Virtual Memory is deprecated in Redis 2.4 
### The use of Virtual Memory is strongly discouraged. 
+0

Como VIrtual Memory está en desuso, ¿cuál es la mejor forma de utilizar la memoria en disco cuando se alcanza el límite de memoria RAM? – harsimranb

+1

@harsimranb No. Si llegas al nivel donde necesitas el disco, has utilizado Redis (o deberías aumentar tu RAM, depende de tu caso de uso). –

2

Establezca TTL (y deje que Redis maneje la caducidad) o publique sus elementos con sus propios datos de antigüedad, tal vez almacenados como ZSET de tuplas (marca de tiempo, clave) desde las que puede realizar su propia limpieza de caché de acuerdo tus propias necesidades

8

Didier tiene razón al indicar cómo se debe hacer esto. Justo lo que indica algunos elementos adicionales (uno de los cuales parece ser omitido de su puesto):

  1. Especifique el tamaño máximo de memoria para ocupar la mayor parte de la memoria disponible en ese nodo (dejar un poco para el sistema operativo y otros procesos y algo de memoria intermedia). Esto asegurará que el contenido nunca se pagine y, como tal, las operaciones son RÁPIDAS.
    1. Si no está configurando TTL/claves que caducan a través de la aplicación, entonces es importante que utilice el enfoque "allkeys-lru". De lo contrario, Redis no caducará nada (porque ninguna de las teclas es volátil), y comenzará a recibir errores una vez que se haya agotado toda la memoria, básicamente no podrá realizar más operaciones de conjunto.
    2. Cuando se utiliza la LRU para la eliminación de claves, es importante establecer la siguiente configuración:

MaxMemory-muestras 10

Este es el número de muestras que Redis va a tomar y luego retire la tecla LRU de entre estos. El valor predeterminado es 3 pero, para todos los fines prácticos, es demasiado bajo, y puede significar que las claves anteriores aún pueden haber sobrevivido. Establecer esto demasiado alto será una sobrecarga para Redis. Es posible que desee experimentar con esta configuración un poco antes de configurarla. Estamos utilizando un valor de 10.

+0

Gracias por la adición útil. – joedevon

+0

Tiene toda la razón @Gur, acabo de probarlo con diferentes valores de maxmemory y maxmemory-policy. –

Cuestiones relacionadas