La función de Python se ralentiza con la presencia de una lista grande

Question

Estaba probando las velocidades de algunas maneras diferentes de hacer iteraciones complejas sobre algunos de mis datos, y encontré algo raro. Parece que tener una gran lista local para alguna función ralentiza considerablemente esa función, incluso si no está tocando esa lista. Por ejemplo, la creación de 2 listas independientes a través de 2 instancias de la misma función del generador es aproximadamente 2.5 veces más lenta la segunda vez. Si se elimina la primera lista antes de crear la segunda, ambos iteradores van en el mismo spee.

def f(): 
    l1, l2 = [], [] 
    for c1, c2 in generatorFxn(): 
     l1.append((c1, c2)) 
    # destroying l1 here fixes the problem 
    for c3, c4 in generatorFxn(): 
     l2.append((c3, c4)) 

Las listas terminan alrededor de 3,1 millones de artículos de largo cada uno, pero vi el mismo efecto con listas más pequeñas también. El primer ciclo for tarda unos 4,5 segundos en ejecutarse, el segundo tarda 10,5. Si inserto l1= [] o l1= len(l1) en la posición de comentario, ambos bucles for tardan 4.5 segundos.

¿Por qué la velocidad de asignación de memoria local en una función tiene algo que ver con el tamaño actual de las variables de esa función?

EDITAR: Al deshabilitar el recolector de basura arregla todo, por lo que debe ser debido a que se ejecuta constantemente. ¡Caso cerrado!

Answer 1

Cuando crea tantos objetos nuevos (3 millones de tuplas), el recolector de basura se empantana. Si desactiva la recolección de basura con gc.disable(), el problema desaparece (y el programa se ejecuta 4 veces más rápido para arrancar).

Answer 2

La memoria utilizada por los datos locales de la función no se recolectará basura hasta que la función regrese. A menos que tenga la necesidad de cortar, usar listas para grandes colecciones de datos no es una gran idea.

De su ejemplo, no está del todo claro cuál es el propósito de crear estas listas. Es posible que desee considerar el uso de generadores en lugar de listas, especialmente si las listas solo se van a repetir. Si necesita hacer un corte en los datos de retorno, envíe los generadores a las listas en ese momento.

Answer 3

Es imposible decirlo sin una instrumentación más detallada.

Como paso muy, muy preliminar, verifique el uso de la memoria principal. Si su RAM está llena y su sistema operativo está buscando en el disco, su rendimiento será bastante terrible. En tal caso, es mejor que tomes tus productos intermedios y los pongas en otro lugar que no sea memoria. Si solo necesita lecturas secuenciales de sus datos, considere escribir en un archivo simple; si sus datos siguen una estructura estricta, considere continuar en una base de datos relacional.

Answer 4

Supongo que cuando se hace la primera lista, hay más memoria disponible, lo que significa menos posibilidades de que la lista deba ser reasignada a medida que crece.

Después de ocupar un buen trozo de memoria con la primera lista, su segunda lista tiene una probabilidad mayor de de necesitar reasignarse a medida que crece, ya que las listas de pitones tienen un tamaño dinámico.