Convertir nombres de archivo de python a Unicode

Question

Estoy en Python 2.6 para Windows.

Uso os.walk para leer un árbol de archivos. Los archivos pueden tener caracteres que no sean de 7 bits ("ae" alemán, por ejemplo) en sus nombres de archivo. Estos están codificados en la representación de cadenas internas de pitones.

Estoy procesando estos nombres de archivo con las funciones de la biblioteca de Python y eso falla debido a una codificación incorrecta.

¿Cómo puedo convertir estos nombres de archivo a cadenas de python adecuadas (unicode?)?

Tengo un archivo "d: \ utest \ ü.txt". Pasando el camino como Unicode no funciona:

>>> list(os.walk('d:\\utest')) 
[('d:\\utest', [], ['\xfc.txt'])] 
>>> list(os.walk(u'd:\\utest')) 
[(u'd:\\utest', [], [u'\xfc.txt'])] 

Answer 1

Si pasa una cadena Unicode a os.walk(), que obtendrá resultados Unicode:

>>> list(os.walk(r'C:\example'))   # Passing an ASCII string 
[('C:\\example', [], ['file.txt'])] 
>>> 
>>> list(os.walk(ur'C:\example'))  # Passing a Unicode string 
[(u'C:\\example', [], [u'file.txt'])] 

Answer 2

os.walk no está especificado para usar siempre os.listdir, pero tampoco aparece listado cómo se maneja Unicode. Sin embargo, os.listdir Qué dice:

Changed in version 2.3: On Windows NT/2k/XP and Unix, if path is a Unicode object, the result will be a list of Unicode objects. Undecodable filenames will still be returned as string objects.

se limita el uso de una obra argumento Unicode para usted?

for dirpath, dirnames, filenames in os.walk(u"."): 
    print dirpath 
    for fn in filenames: 
    print " ", fn 

Answer 3

No, no están codificados en la representación de cadenas internas de pitones, no existe tal cosa. Están codificados en la codificación del sistema operativo/sistema de archivos. Sin embargo, al pasar en Unicode funciona para os.walk.

No sé cómo se comporta os.walk cuando los nombres de archivo no se pueden decodificar, pero supongo que obtendrá una cadena de nuevo, como con os.listdir(). En ese caso, volverás a tener problemas más adelante. Además, no toda la biblioteca estándar de Python 2.x aceptará los parámetros Unicode correctamente, por lo que puede necesitar codificarlos como cadenas de todos modos. Entonces, el problema puede estar en otro lugar, pero lo notarás si ese es el caso. ;-)

Si necesita más control de la decodificación, no siempre puede pasar una cadena y decodificarla con filename = filename.decode() como de costumbre.

Answer 4

una forma más directa podría ser intentar lo siguiente: encontrar la codificación de su sistema de archivos, y luego convertir eso a unicode. por ejemplo,

unicode_name = unicode(filename, "utf-8", errors="ignore") 

a ir a otro lado,

unicode_name.encode("utf-8") 

Answer 5

que estaba buscando una solución para Python 3.0 o superior. Lo pondré aquí en caso de que alguien más lo necesite.

rootdir = r'D:\COUNTRY\ROADS\' 
fs_enc = sys.getfilesystemencoding() 
for (root, dirname, filename) in os.walk(rootdir.encode(fs_enc)): 
    # do your stuff here, but remember that now 
    # root, dirname, filename are represented as bytearrays 

Answer 6

os.walk(unicode(root_dir, 'utf-8'))