Python csv: UnicodeDecodeError

Question

Estoy leyendo en un archivo con el módulo csv de Python, y tengo otra pregunta de codificación (lo siento, hay tantas aquí).

En el archivo CSV, hay £ signos. Después de leer la fila e imprimirla, se han convertido en \ xa3.

Tratando de codificarlos como Unicode produce una UnicodeDecodeError:

row = [unicode(x.strip()) for x in row] 
UnicodeDecodeError: 'ascii' codec can't decode byte 0xa3 in position 0: ordinal not in range(128) 

He estado leyendo el csv documentation y las numerosas otras preguntas sobre esto en StackOverflow. I piensa que £ ser \ xa3 en ASCII significa que el archivo CSV original está en UTF-8.

(Por cierto, hay una manera rápida de comprobar la codificación de un archivo CSV?)

Si está en UTF-8, entonces no debería el módulo csv ser capaz de hacer frente a ella? Parece que está transformando todos los símbolos en ASCII, aunque la documentación afirma que acepta UTF-8.

He intentado agregar una función unicode_csv_reader como se describe en el csv examples, pero no ayuda.

---- ----- EDITAR

Debo aclarar una cosa. He visto this question, que se ve muy similar. Sin embargo, la adición de la función definida unicode_csv_reader no produce un error diferente en su lugar:

yield [unicode(cell, 'utf-8') for cell in row] 
UnicodeDecodeError: 'utf8' codec can't decode byte 0xa3 in position 8: unexpected code byte 

Así que tal vez mi archivo no es UTF-8, después de todo? ¿Cómo puedo decir?

Answer 1

Intente utilizar el "ISO-8859-1" para su codificación. Parece que estás tratando con ASCII extendido, no con Unicode.

Editar:

Aquí hay un código simple que se ocupa de ASCII extendido:

>>> s = "La Pe\xf1a" 
>>> print s 
La Pe±a 
>>> print s.decode("latin-1") 
La Peña 
>>> 

Aún mejor, tratar con el carácter exacto que le está dando problemas:

>>> s = "12\xa3" 
>>> print s.decode("latin-1") 
12£ 
>>> 

Answer 2

Si están en Windows, es muy probable que la codificación que debe usar sea de la familia cp125X ... por ejemplo si se encuentra en Europa occidental o en las Américas, será cp1252. El software de Windows a menudo usa bytes en el rango de \x80 a \x9F inclusive para codificar caracteres de puntuación de lujo, mientras que ese rango está reservado en ISO-8859-X para los "Caracteres de control C1" poco utilizados.

Puede averiguar la codificación habitual en su idioma ejecutando esto en la línea de comandos:

python -c "import locale; print locale.getpreferredencoding()"