zip() alternativa para iterar a través de dos iterables

Question

Tengo dos archivos de texto grandes (~ 100 GB) que deben repetirse simultáneamente.

Zip funciona bien para archivos más pequeños, pero descubrí que en realidad está haciendo una lista de líneas de mis dos archivos. Esto significa que cada línea se almacena en la memoria. No necesito hacer nada con las líneas más de una vez.

handle1 = open('filea', 'r'); handle2 = open('fileb', 'r') 

for i, j in zip(handle1, handle2): 
    do something with i and j. 
    write to an output file. 
    no need to do anything with i and j after this. 

¿Existe una alternativa a zip() que actúa como un generador que me permitirá iterar a través de estos dos archivos sin utilizar> 200 GB de RAM?

Answer 1

itertools tiene una función que hace que izip

from itertools import izip 
for i, j in izip(handle1, handle2): 
    ... 

Si los archivos son de diferentes tamaños puede utilizar izip_longest, como izip se detendrá en el archivo más pequeño.

Answer 2

¿Algo como esto? Wordy, pero parece ser lo que estás pidiendo.

Se puede ajustar para hacer cosas como una combinación adecuada para unir las teclas entre los dos archivos, que a menudo es más lo que se necesita que la función zip simplista. Además, esto no se trunca, que es lo que hace el algoritmo SQL OUTER JOIN, una vez más, diferente de lo que hace zip y más típico de los archivos.

with open("file1","r") as file1: 
    with open("file2", "r" as file2: 
     for line1, line2 in parallel(file1, file2): 
      process lines 

def parallel(file1, file2): 
    if1_more, if2_more = True, True 
    while if1_more or if2_more: 
     line1, line2 = None, None # Assume simplistic zip-style matching 
     # If you're going to compare keys, then you'd do that before 
     # deciding what to read. 
     if if1_more: 
      try: 
       line1= file1.next() 
      except StopIteration: 
       if1_more= False 
     if if2_more: 
      try: 
       line2= file2.next() 
      except StopIteration: 
       if2_more= False 
     yield line1, line2 

Answer 3

Si desea truncar en el archivo más corto:

handle1 = open('filea', 'r') 
handle2 = open('fileb', 'r') 

try: 
    while 1: 
     i = handle1.next() 
     j = handle2.next() 

     do something with i and j. 
     write to an output file. 

except StopIteration: 
    pass 

finally: 
    handle1.close() 
    handle2.close() 

Else

handle1 = open('filea', 'r') 
handle2 = open('fileb', 'r') 

i_ended = False 
j_ended = False 
while 1: 
    try: 
     i = handle1.next() 
    except StopIteration: 
     i_ended = True 
    try: 
     j = handle2.next() 
    except StopIteration: 
     j_ended = True 

     do something with i and j. 
     write to an output file. 
    if i_ended and j_ended: 
     break 

handle1.close() 
handle2.close() 

O

handle1 = open('filea', 'r') 
handle2 = open('fileb', 'r') 

while 1: 
    i = handle1.readline() 
    j = handle2.readline() 

    do something with i and j. 
    write to an output file. 

    if not i and not j: 
     break 
handle1.close() 
handle2.close() 

Answer 4

Usted puede utilizar izip_longest como esto para rellenar el archivo más corto con líneas vacías

en pitón 2,6

from itertools import izip_longest 
with handle1 as open('filea', 'r'): 
    with handle2 as open('fileb', 'r'): 
     for i, j in izip_longest(handle1, handle2, fillvalue=""): 
      ... 

o en python3.1

from itertools import izip_longest 
with handle1 as open('filea', 'r'), handle2 as open('fileb', 'r'): 
    for i, j in izip_longest(handle1, handle2, fillvalue=""): 
     ... 

Answer 5

Para python3, izip_longest es en realidad zip_longest.

from itertools import zip_longest 

for i, j in izip(handle1, handle2): 
    ...