Analizador de memoria de línea por línea Python?

Question

Estoy buscando generar, a partir de una gran base de código de Python, un resumen del uso de heap o las asignaciones de memoria en el transcurso de la ejecución de una función.

Estoy familiarizado con heapy, y me ha servido para tomar "instantáneas" del montón en puntos particulares de mi código, pero me ha resultado difícil generar un resumen de "memoria en el tiempo" con eso. También jugué con line_profiler, pero eso funciona con tiempo de ejecución, no con memoria.

Mi recuperación ahora es Valgrind con massif, pero eso carece de mucha información contextual de Python que ofrecen Heapy y line_profiler. ¿Hay algún tipo de combinación de estos dos últimos que den una sensación de uso de la memoria o crecimiento del montón durante el período de ejecución de un programa de Python?

Answer 1

Usaría sys.settrace al iniciar el programa para registrar una función de marcador personalizada. Se llamará a la función custom_trace para cada línea de código. Luego puede usar esa función para almacenar información recopilada por Heapy o meliae en un archivo para su posterior procesamiento.

Aquí es un ejemplo muy sencillo que registra la salida de hpy.heap() cada segundo a un archivo de texto plano:

import sys 
import time 
import atexit 
from guppy import hpy 

_last_log_time = time.time() 
_logfile = open('logfile.txt', 'w') 

def heapy_profile(frame, event, arg): 
    currtime = time.time() 
    if currtime - _last_log_time < 1: 
     return 
    _last_log_time = currtime 
    code = frame.f_code 
    filename = code.co_filename 
    lineno = code.co_firstlineno 
    idset = hpy().heap() 
    logfile.write('%s %s:%s\n%s\n\n' % (currtime, filename, lineno, idset)) 
    logfile.flush() 

atexit.register(_logfile.close) 
sys.settrace(heapy_profile) 

Answer 2

que podría estar interesado por memory_profiler.