5
Tengo tres archivos enormes, con solo 2 columnas, y los necesito a ambos. Quiero fusionarlos en un archivo que luego puedo escribir en una base de datos SQLite.Forma rápida de combinar archivos enormes (> = 7 GB) en uno
Utilicé Python y terminé el trabajo, pero me tomó> 30 minutos y también colgué mi sistema para 10 de esos. Me preguntaba si hay una manera más rápida usando awk o cualquier otra herramienta de Unix. Una forma más rápida dentro de Python sería genial también. El código escrito a continuación:
'''We have tweets of three months in 3 different files.
Combine them to a single file '''
import sys, os
data1 = open(sys.argv[1], 'r')
data2 = open(sys.argv[2], 'r')
data3 = open(sys.argv[3], 'r')
data4 = open(sys.argv[4], 'w')
for line in data1:
data4.write(line)
data1.close()
for line in data2:
data4.write(line)
data2.close()
for line in data3:
data4.write(line)
data3.close()
data4.close()
¿Por qué no cargar los archivos en SQLite de a uno por vez? – rjmunro
Pensé que esto tomaría igual, si no más tiempo. Ya la segunda vez que lo hago, tiene que adjuntarse a los datos existentes, así que supuse que sería igualmente caro, si no más. – crazyaboutliv
Solo un comentario. Su código sería más fácil de leer si hubiera nombrado los objetos del archivo input1, input2, input3 y output1. –