python url unquit unicode

Question

tengo una cadena Unicode como '%C3%A7%C3%B6asd+fjkls%25asd' y quiero decodificar esta cadena.
He usado urllib.unquote_plus (str) pero funciona mal.

- expected : 'çöasd+fjkls%asd ' 
- result : 'çöasd fjkls%asd' 

dobles codificados caracteres UTF-8 (%C3%A7 and %C3%B6) se decodifican mal.
mi versión de python es 2.7 bajo una distribución de Linux
¿cuál es la mejor manera de obtener el resultado esperado?

gracias de antemano

Answer 1

tiene 3 o 4 o 5 problemas ... pero repr() y unicodedata.name() son sus amigos; sin ambigüedades le muestran exactamente lo que tiene, sin la confusión engendrada por personas con diferentes codificaciones de consola que comunican los resultados de print fubar.

Resumen: bien (a) empiezas con un objeto Unicode y aplicas la función de comillas a eso o (b) comienzas con un objeto str y tu consola de codificación no es UTF-8.

Si como usted dice usted comienza con un objeto Unicode:

>>> s0 = u'%C3%A7%C3%B6asd+fjkls%25asd' 
>>> print repr(s0) 
u'%C3%A7%C3%B6asd+fjkls%25asd' 

esto es un disparate accidental. Si aplica urllibX.unquote_YYYY(), obtendrá otro objeto Unicode sin sentido (u'\xc3\xa7\xc3\xb6asd+fjkls%asd') que causaría los síntomas que se muestran cuando se imprima.Debe convertir el objeto Unicode original a un objeto str inmediato:

>>> s1 = s0.encode('ascii') 
>>> print repr(s1) 
'%C3%A7%C3%B6asd+fjkls%25asd' 

entonces debería fin de la cita que:

>>> import urllib2 
>>> s2 = urllib2.unquote(s1) 
>>> print repr(s2) 
'\xc3\xa7\xc3\xb6asd+fjkls%asd' 

En cuanto a los primeros 4 bytes de eso, se codifica en UTF-8. Si lo hace print s2, se verá bien si su consola está esperando UTF-8, pero si está esperando ISO-8859-1 (también conocido como latin1) verá la basura sintomática (el primer carácter será A-tilde). Vamos parque que pensó por un momento y convertirlo en un objeto Unicode:

>>> s3 = s2.decode('utf8') 
>>> print repr(s3) 
u'\xe7\xf6asd+fjkls%asd' 

e inspeccionar para ver lo que realmente tenemos:

>>> import unicodedata 
>>> for c in s3[:6]: 
...  print repr(c), unicodedata.name(c) 
... 
u'\xe7' LATIN SMALL LETTER C WITH CEDILLA 
u'\xf6' LATIN SMALL LETTER O WITH DIAERESIS 
u'a' LATIN SMALL LETTER A 
u's' LATIN SMALL LETTER S 
u'd' LATIN SMALL LETTER D 
u'+' PLUS SIGN 

Parece que lo que ha dicho que esperaba. Ahora llegamos a la pregunta de mostrarlo en su consola. Nota: no se asuste cuando vea "cp850"; Estoy haciendo esto de manera portátil y estoy haciendo esto en un Símbolo del sistema en Windows.

>>> import sys 
>>> sys.stdout.encoding 
'cp850' 
>>> print s3 
çöasd+fjkls%asd 

Nota: el objeto Unicode se codificó explícitamente mediante sys.stdout.encoding. Afortunadamente, todos los caracteres Unicode en s3 son representables en esa codificación (y cp1252 y latin1).

Answer 2

Trate urllib2 una vez más:

print urllib2.unquote('%C3%A7%C3%B6asd+fjkls%25asd') 

Answer 3

'% C3% A7% C3% B6asd + fjkls% 25asd' - esto no es una cadena Unicode.

Esto es una cadena codificada en url. Use urllib2.unquote() en su lugar.

Answer 4

Está utilizando el método unquote_plus que está tomando en cuenta space y convirtiendo a +. Solo use el método unquote y debería estar bien.

>>> import urllib 
>>> print urllib.unquote('%C3%A7%C3%B6asd+fjkls%25asd') 
çöasd+fjkls%asd 
>>> print urllib.unquote_plus('%C3%A7%C3%B6asd+fjkls%25asd') 
çöasd fjkls%asd 

Answer 5

Tiene un doble problema: la cadena tiene codificación Unicode y contiene el carácter urlencoded. Algunos coinciden. Puede normalizar su cadena a ascci para asegurarse de que no va a ser interpretado de forma incorrecta:

>>> s = '%C3%A7%C3%B6asd+fjkls%25asd' # ascii string 
>>> print urllib2.unquote(s) # works as expected 
çöasd+fjkls%asd 
>>> s = u'%C3%A7%C3%B6asd+fjkls%25asd' # unicode string 
>>> print urllib2.unquote(s) # decode stuff that it shouldn't 
çöasd+fjkls%asd 
>>> print urllib2.unquote(s.encode('ascii')) # encode the unicode string to ascii: works! 
çöasd+fjkls%asd 

Answer 6

Utilizando cualquiera unquote o unquote_plus le dará una serie de bytes. Si quieres una cadena Unicode entonces usted tiene que decodificar la cadena de bytes de Unicode:

>>> print(urllib.unquote_plus('%C3%A7%C3%B6asd+fjkls%25asd').decode('utf8')) 
çöasd fjkls%asd 
>>> 

En comparación con:

>>> print(urllib.unquote_plus('%C3%A7%C3%B6asd+fjkls%25asd')) 
çöasd fjkls%asd 
>>> 

Tenga en cuenta que la cadena de entrada debe ser una cadena de bytes: si pasa Unicode para unquote/unquote_plus, entonces te encontrarás un poco desordenado. Si este es el caso, entonces codificarlo primero:

>>> print(urllib.unquote_plus(u'%C3%A7%C3%B6asd+fjkls%25asd'.encode('ascii')).decode('utf8')) 
çöasd fjkls%asd