Uso de Unicode() y encode() funciones en Python

Question

I tiene un problema con la codificación de la trayectoria variable y de insertarlo a la base de datos SQLite. Traté de resolverlo con la función encode ("utf-8") que no ayudó. Luego usé unicode() función que me da el tipo unicode.

print type(path)     # <type 'unicode'> 
path = path.replace("one", "two") # <type 'str'> 
path = path.encode("utf-8")  # <type 'str'> strange 
path = unicode(path)    # <type 'unicode'> 

Finalmente he ganado Unicode tipo, pero todavía tengo el mismo error que estaba presente cuando el tipo de la variables camino era str

sqlite3.ProgrammingError: You must not use 8-bit bytestrings unless you use a text_factory that can interpret 8-bit bytestrings (like text_factory = str). It is highly recommended that you instead just switch your application to Unicode strings.

Podría ayudar a resolver este error y explicar el uso correcto de las funciones encode("utf-8") y unicode()? A menudo peleo con eso.

EDIT:

Este ejecutar() declaración elevó el error:

cur.execute("update docs set path = :fullFilePath where path = :path", locals()) 

me olvidó cambiar la codificación de fullFilePath variable que sufre el mismo problema, pero estoy bastante confundido ahora. ¿Debo usar solo unicode() o codificar ("utf-8") o ambos?

no puedo usar

fullFilePath = unicode(fullFilePath.encode("utf-8")) 

porque plantea este error:

UnicodeDecodeError: 'ascii' codec can't decode byte 0xc5 in position 32: ordinal not in range(128)

Python versión es 2.7.2

Answer 1

está usando el encode("utf-8") incorrectamente. Las cadenas de bytes de Python (tipo str) tienen una codificación, Unicode no. Puede convertir una cadena Unicode en una cadena de bytes de Python usando uni.encode(encoding), y puede convertir una cadena de bytes en una cadena Unicode usando s.decode(encoding) (o equivalentemente, unicode(s, encoding)).

Si fullFilePath y path Actualmente un tipo str, se debe encontrar la forma en que se codifican.Por ejemplo, si la codificación actual es UTF-8, se debería utilizar:

path = path.decode('utf-8') 
fullFilePath = fullFilePath.decode('utf-8') 

Si esto no lo arregla, el problema real puede ser que usted no está utilizando una cadena Unicode en su llamada execute(), intenta cambiándolo a lo siguiente:

cur.execute(u"update docs set path = :fullFilePath where path = :path", locals()) 

Answer 2

str es una representación de texto en bytes, unicode es una representación de texto en caracteres.

Decodifica texto de bytes a unicode y codifica un unicode en bytes con alguna codificación.

Eso es:

>>> 'abc'.decode('utf-8') # str to unicode 
u'abc' 
>>> u'abc'.encode('utf-8') # unicode to str 
'abc' 

Answer 3

Asegúrese de que haya configurado los valores de localización justo antes de ejecutar la secuencia de comandos de la shell, por ejemplo,

$ locale -a | grep "^en_.\+UTF-8" 
en_GB.UTF-8 
en_US.UTF-8 
$ export LC_ALL=en_GB.UTF-8 
$ export LANG=en_GB.UTF-8 

Docs: man locale, man setlocale.