¿Cómo clonar un objeto generador de Python?

Question

Considere este escenario:

#!/usr/bin/env python 
# -*- coding: utf-8 -*- 
import os 

walk = os.walk('/home') 

for root, dirs, files in walk: 
    for pathname in dirs+files: 
     print os.path.join(root, pathname) 

for root, dirs, files in walk: 
    for pathname in dirs+files: 
     print os.path.join(root, pathname)

Sé que este ejemplo es un poco redundante, pero se debe considerar que tenemos que utilizar los mismos datos walk más de una vez. Tengo un escenario de referencia y el uso de los mismos datos walk es obligatorio para obtener resultados útiles.

He intentado clonar y usar walk2 = walk en la segunda iteración, pero no funcionó. La pregunta es ... ¿Cómo puedo copiarlo? ¿Es alguna vez posible?

Gracias de antemano.

Answer 1

Puede utilizar itertools.tee():

walk, walk2 = itertools.tee(walk) 

Tenga en cuenta que esto podría "necesidad significativa de almacenamiento adicional", ya que la documentación señala.

Answer 2

Definir una función

def walk_home(): 
    for r in os.walk('/home'): 
     yield r 

O incluso este

def walk_home(): 
    return os.walk('/home') 

Ambos se utilizan como esto:

for root, dirs, files in walk_home(): 
    for pathname in dirs+files: 
     print os.path.join(root, pathname) 

Answer 3

Si sabe que va a recorrer todo el generador para cada uso, probablemente obtenga el mejor rendimiento desenrollando el generador a una lista y usando la lista varias veces.

walk = list(os.walk('/home'))

Answer 4

Esta respuesta tiene como objetivo extender/elaborada sobre lo que los otros han expresado respuestas. La solución variará necesariamente según lo que exactamente desee lograr.

Si desea iterar sobre el mismo resultado exacto de os.walk varias veces, se necesita para inicializar una lista de la os.walk artículos de iterables (es decir walk = list(os.walk(path))).

Si debe garantizar que los datos siguen siendo los mismos, esa es probablemente su única opción. Sin embargo, hay varios escenarios en los que esto no es posible o deseable.

1. No será posible list() un iterable si la salida es de tamaño suficiente (es decir, el intento de list() un sistema de ficheros entero puede congelar el ordenador).
2. No es deseable list() iterable si desea adquirir datos "nuevos" antes de cada uso.

En caso de que list() no sea adecuado, deberá ejecutar su generador bajo demanda. Tenga en cuenta que los generadores se extinguen después de cada uso, por lo que esto plantea un ligero problema.Con el fin de "volver a ejecutar su generador" en múltiples ocasiones, puede utilizar el siguiente patrón:

#!/usr/bin/env python 
# -*- coding: utf-8 -*- 
import os 

class WalkMaker: 
    def __init__(self, path): 
     self.path = path 
    def __iter__(self): 
     for root, dirs, files in os.walk(self.path): 
      for pathname in dirs + files: 
       yield os.path.join(root, pathname) 

walk = WalkMaker('/home') 

for path in walk: 
    pass 

# do something... 

for path in walk: 
    pass 

El patrón de diseño antes mencionado le permitirá mantener seca su código.