Cuál es la representación interna de la secuencia en Python 3.x

Question

En Python 3.x, una secuencia consiste en artículos del ordinal de Unicode. (Consulte la cita de la referencia de idioma a continuación). ¿Cuál es la representación interna de la cadena Unicode? ¿Es UTF-16?

Los elementos de un objeto de cadena son unidades de código Unicode. Una unidad Unicode código está representada por un objeto de cadena de un artículo y puede contener o bien un 16 bits o valor de 32 bits que representa un Unicode ordinal (el valor máximo para el ordinal se da en sys.maxunicode, y depende de cómo se configure Python en tiempo de compilación). Los pares sustituidos pueden estar presentes en el objeto Unicode , y se informará como dos elementos separados.

Answer 1

No ha habido NINGÚN CAMBIO en la representación interna de Unicode entre Python 2.X y 3.X.

Definitivamente NO es UTF-16. UTF-anything es una representación EXTERNA orientada a bytes.

A cada unidad de código (carácter, sustituto, etc.) se le ha asignado un número del rango (0, 2 ** 21). Esto se llama su "ordinal".

Realmente, la documentación que citó lo dice todo. La mayoría de los binarios de Python usan ordinales de 16 bits que lo restringen al plano multilingüe básico ("BMP") a menos que quiera ensuciarlo con sustitutos (a mano si no puede encontrar su camisa de pelo y su cama de clavos está desactivada). oxidado). Para trabajar con el repertorio completo de Unicode, preferiría una "construcción amplia" (32 bits de ancho).

En pocas palabras, la representación interna en un objeto Unicode es una matriz de enteros sin signo de 16 bits, o una matriz de enteros sin signo de 32 bits (con solo 21 bits).

Answer 2

Depende: vea here. Esto sigue siendo cierto para Python 3 en lo que respecta a la representación interna.

Answer 3

Creo que es difícil juzgar la diferencia entre UTF-16, que es solo una secuencia de palabras de 16 bits, al objeto de cadena de Python.

Y si python se compila con la opción Unicode = UCS4, se comparará entre UTF-32 y la cadena de Python.

Por lo tanto, mejor considerar, se encuentran en diferentes categorías, aunque puede transformarse unos a otros.

Answer 4

Mirando el código fuente para CPython 3.1.5, en Include/unicodeobject.h:

/* --- Unicode Type ------------------------------------------------------- */ 

typedef struct { 
    PyObject_HEAD 
    Py_ssize_t length;   /* Length of raw Unicode data in buffer */ 
    Py_UNICODE *str;   /* Raw Unicode buffer */ 
    long hash;     /* Hash value; -1 if not set */ 
    int state;     /* != 0 if interned. In this case the two 
           * references from the dictionary to this object 
           * are *not* counted in ob_refcnt. */ 
    PyObject *defenc;   /* (Default) Encoded version as Python 
            string, or NULL; this is used for 
            implementing the buffer protocol */ 
} PyUnicodeObject; 

Los caracteres se almacenan como una matriz de Py_UNICODE. En la mayoría de las plataformas, creo que Py_UNICODE es #define d como wchar_t.

Answer 5

La representación interna cambiará en Python 3.3 que implementa PEP 393. La nueva representación elegirá uno o varios de ascii, latin-1, utf-8, utf-16, utf-32, generalmente tratando de obtener una representación compacta.

Las conversiones implícitas en parejas sustitutas solo se realizarán al hablar con API heredadas (esas solo existen en Windows, donde wchar_t es de dos bytes); la cadena de Python se conservará. Aquí están los release notes.

Answer 6

En Python 3.3 y superior, la representación interna de la cadena dependerá de la cadena, y puede ser cualquiera de ascii, latin-1, utf-8, utf-16, utf-32, según lo observado por Tobu y descrito en PEP 393.

Para las pitones anteriores, la representación interna depende de las marcas de compilación de Python. Python se puede construir con los valores de indicador --enable-unicode=ucs2 o --enable-unicode=ucs4. ucs2 compilaciones de hecho use UTF-16 as their internal representation, y ucs4 compilaciones usan UCS-4/UTF-32.