¿Cómo hago que Python haga que todas las cadenas idénticas usen la misma memoria?

Question

Duplicar posible:
What does python intern do, and when should it be used?

estoy trabajando con un programa en Python que tiene para correlacionar en una matriz con millones de objetos de cadena. Descubrí que si todos provienen de la misma cadena citada, cada "cadena" adicional es solo una referencia a la primera cadena maestra. Sin embargo, si las cadenas se leen desde un archivo, y si las cadenas son todas iguales, cada una de ellas requiere una nueva asignación de memoria.

Es decir, esto tiene sobre 14meg de almacenamiento:

a = ["foo" for a in range(0,1000000)] 

Si bien esto requiere más que 65meg de almacenamiento:

a = ["foo".replace("o","1") for a in range(0,1000000)] 

Ahora puede hacer que la memoria se necesita mucho menos espacio con esto:

s = {"f11":"f11"} 
a = [s["foo".replace("o","1")] for a in range(0,1000000)] 

Pero eso parece una tontería. ¿Hay alguna forma más fácil de hacer esto?

Answer 1

acaba de hacer un intern(), que le dice a Python para almacenar y tomar la cadena de la memoria:

a = [intern("foo".replace("o","1")) for a in range(0,1000000)] 

Esto también se traduce en torno a 18 MB, lo mismo que en el primer ejemplo.

También tenga en cuenta el comentario a continuación, si utiliza python3. Thx @Abe Karplus

Answer 2

puede intentar algo como esto:

strs=["this is string1","this is string2","this is string1","this is string2", 
     "this is string3","this is string4","this is string5","this is string1", 
     "this is string5"] 
new_strs=[] 
for x in strs: 
    if x in new_strs: 
     new_strs.append(new_strs[new_strs.index(x)]) #find the index of the string 
                #and instead of appending the 
               #string itself, append it's reference. 
    else: 
     new_strs.append(x) 

print [id(y) for y in new_strs] 

cadenas que son idénticos ahora tendrá la misma id()

de salida:

[18632400, 18632160, 18632400, 18632160, 18651400, 18651440, 18651360, 18632400, 18651360] 

Answer 3

Mantener un diccionario de cadenas visto debe trabajo

new_strs = [] 
str_record = {} 
for x in strs: 
    if x not in str_record: 
     str_record[x] = x 
    new_strs.append(str_record[x]) 

(no probado).