Archivo de Python abrir/cerrar cada vez vs mantenerlo abierto hasta que finalice el proceso

Question

Tengo unos 50 GB de archivo de texto y estoy comprobando los primeros caracteres de cada línea y escribiéndolos en otros archivos especificados para ese texto inicial.

Por ejemplo. mi entrada contiene:

cow_ilovecow 
dog_whreismydog 
cat_thatcatshouldgotoreddit 
dog_gotitfromshelter 
............... 

Por lo tanto, quiero procesarlos de vaca, perro y gato (unos 200) Categorías de así,

if writeflag==1: 
    writefile1=open(writefile,"a") #writefile is somedir/dog.txt.... 
    writefile1.write(remline+"\n") 
    #writefile1.close() 

es así, ¿cuál es la mejor manera, debo ¿cerca? De lo contrario, si lo mantengo abierto, ¿está writefile1=open(writefile,"a") haciendo lo correcto?

Answer 1

Definitivamente usted debería tratar de abrir/cerrar el archivo lo menos posible

Porque incluso comparando con leer el archivo/escritura, abrir/cerrar archivos es mucho más caro

Considérese dos bloques de código:

f=open('test1.txt', 'w') 
for i in range(1000): 
    f.write('\n') 
f.close() 

y

for i in range(1000): 
    f=open('test2.txt', 'a') 
    f.write('\n') 
    f.close() 

La primera se toma 0.025s mientras que el segundo toma 0.309s

Answer 2

¡Manténgalo abierto todo el tiempo! De lo contrario, le dice al sistema que ha terminado de escribir todo el tiempo y que podría decidir enjuagarlo en el disco en lugar de almacenarlo en el búfer. Y por razones obvias n las escrituras en disco son mucho más costosas que escritura en disco.

Si desea agregar al archivo y no sobrescribirlo, entonces sí, a es el modo correcto.

Answer 3

Utilice la instrucción with, se cierra automáticamente los archivos para usted, hacer todas las operaciones dentro del bloque with, por lo que va a mantener los archivos abiertos para usted y cerrará los archivos una vez que estás fuera del bloque with .

with open(inputfile)as f1, open('dog.txt','a') as f2,open('cat.txt') as f3: 
    #do something here 

EDIT: Si conoces a todos los posibles nombres de archivo que se utilizará antes de la compilación de su código a continuación, utilizando with es una opción mejor y si no lo hace, entonces debería usar su enfoque, pero en lugar de cerrando el archivo puede flush los datos al archivo usando writefile1.flush()

Answer 4

Las operaciones IO consumen demasiado tiempo. Abre y cierra el archivo, también.

Es mucho más rápido si abre ambos archivos (la entrada y la salida), utiliza un búfer de memoria con, digamos, 10MB de tamaño para su procesamiento de texto y luego lo escribe en el archivo de salida. Por ejemplo:

file = {} # just initializing dicts 
filename = {} 
with open(file) as f: 
    file['dog'] = None 
    buffer = '' 
    ... 
    #maybe there is a loop here 
    if writeflag: 
     if file['dog'] == None: 
      file['dog'] = open(filename['dog'], 'a') 
     buffer += remline + '\n' 
    if len(buffer) > 1024*1000*10: # 10MB of text 
     files['dog'].write(buffer) 
     buffer = '' 

for v in files.values(): 
    v.close()