¿Cómo puedo encontrar pérdidas de memoria en mi programa Python?

Question

Duplicar posible:
Python memory profiler

tengo una línea de programa Python bastante complejo (alrededor de 20.000), que después de un cierto desarrollo ha comenzado a consumir cada vez mayores cantidades de memoria cuando se ejecuta. ¿Cuáles son las mejores herramientas y técnicas para descubrir para qué se usa toda la memoria?

Por lo general, esto se debe a referencias inesperadas a objetos o errores del módulo de extensión (que no es particularmente probable ya que hemos estado usando la instalación de Python 2.4 por un tiempo).

Estamos utilizando varias bibliotecas de terceros como Twisted, Twisted Conch y MySQLdb.

Answer 1

La memoria de Python es administrada por un recolector de basura. En general, no debería haber un problema con la pérdida de memoria (definitivamente no para Python2.5 y superior), a menos que esté escribiendo módulos de extensión en C/C++. En ese caso, Valgrind (Publicación del blog - http://bruynooghe.blogspot.com/2008/12/finding-memory-leaks-in-python.html) podría ser útil. Descubrí que esta persona - http://mg.pov.lt/blog/hunting-python-memleaks ha usado PDB y matplotlib para rastrear una fuga de memoria. Espero que esto ayude, no tengo experiencia en arreglar fugas de memoria de Python.

Answer 2

Generalmente, no cerrar los cursores es uno de los tipos más comunes de pérdida de memoria. El recolector de basura no puede ver los recursos de MySQL involucrados en el cursor. MySQL no sabe que el lado de Python fue lanzado a menos que se llame explícitamente al método close().

Regla de oro. Abra, use y cierre los cursores en un lapso de código tan breve como pueda.