os.walk varios directorios a la vez

Question

Duplicar posible:
How to join two generators in Python?

¿Hay alguna manera en Python para usar os.walk de atravesar varios directorios a la vez?

my_paths = [] 
path1 = '/path/to/directory/one/' 
path2 = '/path/to/directory/two/' 
for path, dirs, files in os.walk(path1, path2): 
    my_paths.append(dirs) 

El ejemplo anterior no funciona (como os.walk sólo acepta un directorio), pero yo estaba esperando una solución más elegante en lugar de llamar os.walk dos veces (más entonces puede ordenar todo en una vez). Gracias.

Answer 1

Para tratar múltiples iterables como uno, utilice itertools.chain:

from itertools import chain 

paths = ('/path/to/directory/one/', '/path/to/directory/two/', 'etc.', 'etc.') 
for path, dirs, files in chain.from_iterable(os.walk(path) for path in paths): 

Answer 2

Uso itertools.chain().

for path, dirs, files in itertools.chain(os.walk(path1), os.walk(path2)): 
    my_paths.append(dirs) 

Answer 3

Otros han mencionado itertools.chain.

También hay la opción de simplemente anidando un nivel más:

my_paths = [] 
for p in ['/path/to/directory/one/', '/path/to/directory/two/']: 
    for path, dirs, files in os.walk(p): 
     my_paths.append(dirs) 

Answer 4

ya que nadie lo mencionó, en este o el otro post referencia:

http://docs.python.org/library/multiprocessing.html

>>> from multiprocessing import Pool 
>>> p = Pool(5) 
>>> def f(x): 
...  return x*x 
... 
>>> p.map(f, [1,2,3]) 

en este caso , tendrías una lista de directorios. la llamada para mapear devolvería una lista de listas de cada dir, que podría entonces elegir para aplanarlo, o mantener los resultados agrupados

def t(p): 
    my_paths = [] 
    for path, dirs, files in os.walk(p): 
     my_paths.append(dirs) 


paths = ['p1','p2','etc'] 
p = Pool(len(paths)) 
dirs = p.map(t,paths)