Perfilando generadores Python

Question

Estoy adaptando una aplicación que hace un uso intensivo de generadores para producir sus resultados para proporcionar una interfaz web web.py.

Hasta ahora, podía envolver la llamada a las sentencias for-loop y output-producing en una función y llamarla usando cProfile.run() o runctx(). Conceptualmente:

def output(): 
    for value in generator(): 
     print(value) 

cProfile.run('output()') 

En web.py, tengo que envuelve la siguiente manera, ya que quiero para producir inmediatamente la salida del cómputo potencialmente larga en cada paso de iteración utilizando yield:

class index: 
    def GET(self): 
     for value in generator(): 
      yield make_pretty_html(value) 

¿Hay alguna manera de perfilar todas las llamadas al generador como en el primer ejemplo cuando se usa como en el segundo?

Answer 1

finalmente he encontrado una solución. Devuelve el valor de los perfiles a través del here.

import cProfile 
import pstats 
import glob 
import math 

def gen(): 
    for i in range(1, 10): 
     yield math.factorial(i) 

class index(object): 
    def GET(self): 
     p = cProfile.Profile() 

     it = gen() 
     while True: 
      try: 
       nxt = p.runcall(next, it) 
      except StopIteration: 
       break 
      print nxt 

     p.print_stats() 

index().GET() 

También podría combinar varios dichos resultados de descripción (una vez que empezar a dar los nombres de archivos únicos) a través de documentation y almacenar/analizarlos combinado.

Answer 2

¿Puedes simplemente usar time.time() para perfilar las partes que te interesan? Simplemente obtenga la hora actual y reste de la última vez que realizó una medición.

Answer 3

Parece que está intentando perfilar cada llamada al 'siguiente' en el generador? Si es así, podría envolver su generador en un generador de perfiles. Algo así, donde la parte comentada enviará los resultados a un registro o base de datos.

 
def iter_profiler(itr): 
    itr = iter(itr) 
    while True: 
    try: 
     start = time.time() 
     value = itr.next() 
     end = time.time() 
    except StopIteration: 
     break 
    # do something with (end - stop) times here 
    yield value 
 

Entonces, en lugar de crear instancias de su generador como generator() que usaría iter_profiler(generator())