de codificación utilizado para u "" literales

Question

Considere el siguiente ejemplo:

>>> s = u"баба" 
>>> s 
u'\xe1\xe0\xe1\xe0' 
>>> print s 
áàáà 

estoy usando cp1251 codificación dentro de la inactividad, pero parece que el intérprete utiliza realmente para crear latin1 cadena Unicode:

>>> print s.encode('latin1') 
баба 

¿Por qué? ¿Hay especificaciones para tal comportamiento?

CPython, 2.7.

---

Editar

El código realidad estaba buscando es

>>> u'\xe1\xe0\xe1\xe0' == u'\u00e1\u00e0\u00e1\u00e0' 
True 

Parece que cuando codificación Unicode con latin1 códec, todos los puntos Unicode menos que 256 se dejan simplemente como es, pues, dando como resultado bytes que escribí antes.

Answer 1

Cuando escribe un carácter como б en el terminal, verá un б, pero lo que realmente se ingresa es una secuencia de bytes.

Debido a que su codificación terminal es cp1251, escribiendo баба resultados en la secuencia de bytes igual al Unicode баба codificado en cp1251:

In [219]: "баба".decode('utf-8').encode('cp1251') 
Out[219]: '\xe1\xe0\xe1\xe0' 

(Tenga en cuenta que utilizo utf-8 anterior porque mi terminal de codificación es utf-8, no cp1251 . Para mí, "баба".decode('utf-8') es solo unicode para баба.)

Dado que tipear баба resulta en la secuencia de byte s \xe1\xe0\xe1\xe0, cuando escribe u"баба" en la terminal, Python recibe u'\xe1\xe0\xe1\xe0' en su lugar. Es por eso que está viendo

>>> s 
u'\xe1\xe0\xe1\xe0' 

Esto sucede Unicode para representar áàáà.

Y cuando se escribe

>>> print s.encode('latin1') 

la codificación latin1 convierte u'\xe1\xe0\xe1\xe0'-'\xe1\xe0\xe1\xe0'. El terminal recibe la secuencia de bytes '\xe1\xe0\xe1\xe0', y los decodifica con cp1251, imprimiendo de este modo баба:

In [222]: print('\xe1\xe0\xe1\xe0'.decode('cp1251')) 
баба 

Probar:

>>> s = "баба" 

(sin el u) en su lugar. O,

>>> s = "баба".decode('cp1251') 

hacer sunicode.O bien, utilizar el prolijo pero muy explícita (y terminales que codifica agnóstico):

>>> s = u'\N{CYRILLIC SMALL LETTER BE}\N{CYRILLIC SMALL LETTER A}\N{CYRILLIC SMALL LETTER BE}\N{CYRILLIC SMALL LETTER A}' 

o la corta pero menos fácilmente comprensible

>>> s = u'\u0431\u0430\u0431\u0430'