ruby ​​/ ruby ​​on rails detección de fuga de memoria

Question

Escribí una pequeña aplicación web que usa ruby ​​on rails, su propósito principal es cargar, almacenar y mostrar resultados de archivos xml (archivos hasta varios MB). Después de correr durante aproximadamente 2 meses, noté que el proceso mongrel usaba aproximadamente 4GB de memoria. Hice algunas investigaciones sobre la depuración de fugas de memoria ruby ​​y no pude encontrar mucho. Entonces tengo dos preguntas.

• ¿Hay alguna buena herramienta que pueda usarse para encontrar fugas de memoria en Ruby/rails?
• ¿Qué tipo de patrones de codificación ocasionan fugas de memoria en ruby?

Answer 1

Algunos consejos para encontrar fugas de memoria en Rails:

• utilizan el plugin Bleak House
• aplicar Scout monitoring específicamente el generador de perfiles de uso de memoria
• implementar FiveRuns monitoring
• probar otra simple memory usage logger

La primera es una exploración gráfica del uso de memoria por objetos en ObjectSpace.

Los dos últimos le ayudarán a identificar patrones de uso específicos que están inflando el uso de la memoria, y puede trabajar desde allí.

En cuanto a los patrones de codificación específicos, por experiencia tiene que ver todo lo relacionado con el archivo io, el procesamiento de imágenes, el trabajo con cadenas masivas y similares.

Verificaría si está utilizando la biblioteca XML más adecuada: se sabe que ReXML es lento y se cree que tiene fugas (¡no tengo pruebas de eso!). También verifique si puede memoize operaciones costosas.

Answer 2

pérdida de memoria es un problema en la implementación actual rubí un buen punto de partida de todo esto es http://whytheluckystiff.net/articles/theFullyUpturnedBin.html página web Whytheluckystiff ya no existe, pero se puede encontrar el artículo original aquí: http://viewsourcecode.org/why/hacking/theFullyUpturnedBin.html

de una respuesta más específica sobre los problemas con los procesos que se ejecutan a largo rubí ver http://zdavatz.wordpress.com/2007/07/18/heap-fragmentation-in-a-long-running-ruby-process/

tal vez usted podría dar pasajeros (mod_rails) una oportunidad http://nubyonrails.com/articles/ask-your-doctor-about-mod_rails

Answer 3

Un método super simple para registrar el uso de la memoria antes o después de cada solicitud (solo para Linux).

#Put this in applictation_controller.rb 
before_filter :log_ram # or use after_filter 
def log_ram 
    logger.warn 'RAM USAGE: ' + `pmap #{Process.pid} | tail -1`[10,40].strip 
end 

Es posible que desee cargar el script/consola y probar el enunciado primero para asegurarse de que funciona en su caja.

puts 'RAM USAGE: ' + `pmap #{Process.pid} | tail -1`[10,40].strip 

Luego solo supervise la parte superior, cuando una solicitud hace que su uso de memoria salte, vaya a revisar los registros. Esto, por supuesto, solo ayudará si tiene una pérdida de memoria que ocurre en saltos grandes, no pequeños incrementos.

Answer 4

Cambie a jruby y use el Eclipse Memory Analyzer. No hay una herramienta comparable para Ruby en este momento.

Answer 5

Ahora, puede ejecutar las siguientes acciones para conseguir la memoria en un formato que R puede leer. Estoy asumiendo que su línea de registro se parece a:

1234567890 RAM USAGE: 27456K 

Ejecutar este (o modificar a la suite):

$ grep 'RAM USAGE' fubar.log | awk '{print s " " $1 " " $4; s++}' | sed 's/K//g' > mem.log 

continuación, puede ejecutar esto:

#!/bin/sh 
rm -f mem.png 
R --vanilla --no-save --slave <<RSCRIPT 
    lst <- read.table("mem.log") 
    attach(lst) 
    m = memory/1024.0 
    summary(m) 
    png(filename="mem.png", width=1024) 
    plot(date, m, type='l', main="Memory usage", xlab="time", ylab="memory") 
RSCRIPT 

y obtener un buen grafico.

Answer 6

Debe darle una mirada a ruby-prof.

Answer 7

Estas gemas trabajaron para mí:

MemoryLogic

añade en el identificador de proceso y el uso de memoria en sus carriles troncos, ideal para localizar pérdidas de memoria

Oink

Analizador de registros para identificar acciones que signif icantly aumentar tamaño de la pila VM