Cómo manejar caracteres Unicode (no ASCII) en Python?

Question

Estoy programando en Python y estoy obteniendo información de una página web a través de la biblioteca urllib2. El problema es que esa página me puede proporcionar caracteres no ASCII, como 'ñ', 'á', etc. En el mismo momento urllib2 obtiene este personaje, que provoca una excepción, como este:

File "c:\Python25\lib\httplib.py", line 711, in send 
    self.sock.sendall(str) 
File "<string>", line 1, in sendall: 
    UnicodeEncodeError: 'ascii' codec can't encode character u'\xf1' in position 74: ordinal not in range(128) 

necesito para manejar esos personajes Quiero decir, no quiero manejar la excepción sino continuar el programa. ¿Hay alguna manera de, por ejemplo (no sé si esto es algo estúpido), usar otro codec en lugar del ASCII? Como tengo que trabajar con esos caracteres, insértelos en una base de datos, etc.

Answer 1

Acaba de leer un conjunto de bytes del socket. Si quieres una cadena que tiene que descifrar:

yourstring = receivedbytes.decode("utf-8") 

(sustituyendo cualquier codificación que está utilizando para utf-8)

Entonces usted tiene que hacer a la inversa que devolverlo a cabo:

outbytes = yourstring.encode("utf-8") 

Answer 2

Si desea, puede usar Unicode para todo su trabajo.

Es probable que encuentre esta pregunta/respuesta útil:

urllib2 read to Unicode

Answer 3

Es posible que desee ver en el uso de una biblioteca de análisis real de encontrar esta información. lxml, por ejemplo, ya se ocupa de la codificación/decodificación Unicode usando el juego de caracteres declarado.