¿Cómo se puede unir una cadena unicode urlencoded en python?

Question

Tengo una cadena Unicode como "Tanım" que está codificada como "Tan% u0131m" de alguna manera. ¿Cómo puedo convertir esta cadena codificada a unicode original? Aparentemente urllib.unquote no es compatible con Unicode.

Answer 1

% uXXXX es un non-standard encoding scheme que ha sido rechazada por el W3C, a pesar del hecho de que una implementación sigue viviendo en la tierra JavaScript.

La técnica más común parece ser que UTF-8 codifica la cadena y luego% escapa de los bytes resultantes usando% XX. Este esquema está apoyado por urllib.unquote:

>>> urllib2.unquote("%0a") 
'\n' 

Por desgracia, si realmente necesita para apoyar% uXXXX, es probable que tenga a rodar su propio decodificador. De lo contrario, es mucho más preferible que simplemente UTF-8 codifique su Unicode y luego% escape los bytes resultantes.

Un ejemplo más completo:

>>> u"Tanım" 
u'Tan\u0131m' 
>>> url = urllib.quote(u"Tanım".encode('utf8')) 
>>> urllib.unquote(url).decode('utf8') 
u'Tan\u0131m' 

Answer 2

def unquote(text): 
    def unicode_unquoter(match): 
     return unichr(int(match.group(1),16)) 
    return re.sub(r'%u([0-9a-fA-F]{4})',unicode_unquoter,text) 

Answer 3

Esto lo hará si usted absolutamente tiene que tener esto (la verdad es que de acuerdo con los gritos de "no estándar"):

from urllib import unquote 

def unquote_u(source): 
    result = unquote(source) 
    if '%u' in result: 
     result = result.replace('%u','\\u').decode('unicode_escape') 
    return result 

print unquote_u('Tan%u0131m') 

> Tanım 

Answer 4

hay un error en la versión anterior donde a veces se asusta cuando hay caracteres codificados en ascii y codificados en unicode en la cadena. Creo que es específicamente cuando hay caracteres del rango superior 128 como '\ xab' además de unicode.

por ejemplo. "% 5B% AB% u03E1% BB% 5D" causa este error.

he encontrado si usted acaba de hacer los Unicode en primer lugar, el problema se fue:

def unquote_u(source): 
    result = source 
    if '%u' in result: 
    result = result.replace('%u','\\u').decode('unicode_escape') 
    result = unquote(result) 
    return result