Python deep getsizeof list with contents?

Question

Me sorprendió que sys.getsizeof(10000*[x]) sea 40036 independientemente de x: 0, "a", 1000 * "a", {}.
¿Hay un deep_getsizeof que considere correctamente los elementos que comparten memoria?
(La pregunta vino de mirar las tablas de base de datos en memoria como gama (1000000) -> nombres de provincias: lista o dict?)
(Python 2.6.4 es en un Mac PPC.)

Agregado: 10000 * ["Mississippi"] es 10000 apuntadores a un "Mississippi", como varias personas han señalado. Pruebe esto:

nstates = [AlabamatoWyoming() for j in xrange(N)] 

donde AlabamatoWyoming() -> una cadena "Alabama" .. "Wyoming". ¿Qué es deep_getsizeof (nstates)?
(¿Cómo podemos decir

• un deep_getsizeof adecuada:? Difícil, ~ gc trazador
• estimación a partir de memoria virtual
• dentro de los conocimientos de la aplicación de pitón
• conjetura

. Agregado 25jan: ver también when-does-python-allocate-new-memory-for-identical-strings

Answer 1

un vistazo a guppy/heapy; No he jugado demasiado conmigo, pero algunos de mis compañeros de trabajo lo han usado para crear perfiles de memoria con buenos resultados.

La documentación podría ser mejor, pero this howto hace un trabajo decente de explicar los conceptos básicos.

Answer 2

10000 * [x] producirá una lista de 10000 veces el mismo objeto, por lo tanto, el tamaño es más cercano a lo correcto de lo que cree. Sin embargo, un tamaño profundo es muy problemático porque es imposible decirle a Python cuando quiere detener la medición. Cada objeto hace referencia a un objeto tipo. ¿Debería contarse el tipo de objeto? ¿Qué pasa si la referencia al tipoobjeto es la última, por lo que si eliminaste el objeto también se iría? ¿Qué pasa si tiene varios objetos (diferentes) en la lista que hacen referencia al mismo objeto de cadena? ¿Debe contarse una vez o varias veces?

En resumen, para obtener el tamaño de una estructura de datos es muy complicado, y no debería haber sido añadido sys.getsizeof(): S

Answer 3

Si lista sólo está sosteniendo objetos con la misma longitud que usted podría conseguir una número estimación más precisa al hacer esto

def getSize(array): 
    return sys.getsizeof(array) + len(array) * sys.getsizeof(array[0]) 

Obviamente no va a funcionar tan bien para las cadenas de longitud variable.

Si solo quiere calcular el tamaño para la depuración o durante el desarrollo y no le importa el rendimiento, puede repetir todos los elementos recursivamente y calcular el tamaño total. Tenga en cuenta que esta solución no manejará múltiples referencias al mismo objeto correctamente.

Answer 4

mylist = 10000 * [x] significa crear una lista de tamaño 10000 con 10000 referencias al objeto x.

Objeto x es no copiado - ¡solo existe uno en la memoria!

Así que para usar getsizeof, sería: sys.getsizeof(mylist) + sys.getsizeof(x)