Base de datos de mnesia eventualmente consistente con erlang. Las mejores prácticas alguien?

Question

Escribo un rastreador bittorrent en erlang. Dada la naturaleza del servicio, no necesitaré una coherencia absoluta (es decir, un cliente puede estar perfectamente satisfecho con una lista de compañeros o un estado de torrente un poco desactualizados).

Mi estrategia hasta ahora ha sido crear tablas de mnesia en RAM con disc_copies habilitadas, para que mnesia descargue automáticamente la memoria en el disco cuando el tamaño del registro excede un cierto tamaño.

Si el servidor falla, se perderá parte de la información. No es un gran trato.

Un enfoque diferente sería instanciar dos tablas (una memoria RAM solamente y un disco solamente) y tener una copia de proceso de la ram al disco cada minuto más o menos. Esto es más ingenuo, pero permitiría volcar solo un subconjunto de lo que está en la memoria, reduciendo la sobrecarga general del disco y posiblemente evitando el uso de un registro (en realidad no estoy seguro acerca de esta última afirmación).

Estoy seguro de que hay muchas otras formas de hacerlo. ¿Lo que es tuyo?

-teo

Answer 1

Aquí es un proyecto que podría interesarle http://github.com/jlouis/etorrent/tree/master.

Answer 2

Es posible que desee verificar redis & erldis. Redis toma el segundo enfoque: todo se almacena en la memoria y luego se descarga periódicamente al disco.

Answer 3

Esto sin duda está fuera de tema con respecto a su pregunta original, pero si realmente está escribiendo un rastreador puro, entonces sería mejor renunciar por completo a la persistencia y mantener los datos únicamente en la memoria.

Para un rastreador mínimo, un anuncio pesa solo unos pocos bytes: 16 bytes para SHA1-hash, 6 bytes para la IP y puerto del par, y algunos bytes más, ya que necesitará mantener una marca de tiempo como bien. Pero incluso con un poco de sobrecarga, podrás literalmente mantener millones de registros en la memoria.