Escribir en el archivo UTF-8 en Python

Question

Estoy realmente confundido con el codecs.open function. Cuando hago:

file = codecs.open("temp", "w", "utf-8") 
file.write(codecs.BOM_UTF8) 
file.close() 

Me da el error

UnicodeDecodeError: 'ascii' codec can't decode byte 0xef in position 0: ordinal not in range(128)

Si hago:

file = open("temp", "w") 
file.write(codecs.BOM_UTF8) 
file.close() 

Trabaja muy bien.

Pregunta ¿por qué falla el primer método? ¿Y cómo inserto el bom?

Si el segundo método es la forma correcta de hacerlo, ¿qué sentido tiene usar codecs.open(filename, "w", "utf-8")?

Answer 1

Creo que el problema es que codecs.BOM_UTF8 es una cadena de bytes, no una cadena Unicode. Sospecho que el manejador de archivos está tratando de adivinar lo que realmente quieres decir, basado en "¡Estoy destinado a escribir Unicode como texto codificado en UTF-8, pero me has dado una cadena de bytes!"

Trate de escribir la cadena Unicode para la marca de orden de bytes (es decir Unicode U + FEFF) directamente, por lo que el archivo simplemente codifica que como UTF-8:

import codecs 

file = codecs.open("lol", "w", "utf-8") 
file.write(u'\ufeff') 
file.close() 

(Eso parece dar la respuesta correcta - un archivo con bytes EF BB BF.)

EDIT: S. Lott suggestion de utilizar "utf-8-sig", ya que la codificación es mejor que escribir la BOM explícitamente, pero voy a dejar esta respuesta aquí, ya que explica lo que estaba pasando mal antes.

Answer 2

leer lo siguiente: http://docs.python.org/library/codecs.html#module-encodings.utf_8_sig

Haga esto

with codecs.open("test_output", "w", "utf-8-sig") as temp: 
    temp.write("hi mom\n") 
    temp.write(u"This has ♭") 

El archivo resultante es UTF-8 con la esperada lista de materiales.

Answer 3

@ S-Lott da el procedimiento correcto, pero en expansión en los Unicode cuestiones, el Python intérprete le puede dar más ideas.

Jon Skeet es correcto (inusual) sobre el módulo codecs - que contiene cadenas de bytes:

>>> import codecs 
>>> codecs.BOM 
'\xff\xfe' 
>>> codecs.BOM_UTF8 
'\xef\xbb\xbf' 
>>> 

Recogiendo otra nit, la BOM tiene un estándar nombre Unicode, y puede ser introducido como:

>>> bom= u"\N{ZERO WIDTH NO-BREAK SPACE}" 
>>> bom 
u'\ufeff' 

también es accesible a través de unicodedata:

>>> import unicodedata 
>>> unicodedata.lookup('ZERO WIDTH NO-BREAK SPACE') 
u'\ufeff' 
>>> 

Answer 4

uso el comando de archivo * nix para convertir un archivo de conjunto de caracteres desconocidos en un archivo UTF-8

# -*- encoding: utf-8 -*- 

# converting a unknown formatting file in utf-8 

import codecs 
import commands 

file_location = "jumper.sub" 
file_encoding = commands.getoutput('file -b --mime-encoding %s' % file_location) 

file_stream = codecs.open(file_location, 'r', file_encoding) 
file_output = codecs.open(file_location+"b", 'w', 'utf-8') 

for l in file_stream: 
    file_output.write(l) 

file_stream.close() 
file_output.close()