¿Cómo saber si Python está compilado con UCS-2 o UCS-4?

Question

Justo lo que dice el título.

$ ./configure --help | grep -i ucs 
    --enable-unicode[=ucs[24]] 

Búsqueda en la documentación oficial, encontré esto:

sys.maxunicode: Entero que proporciona el mayor punto de código apoyado por un personaje Unicode. El valor de este depende de la opción de configuración que especifica si los caracteres Unicode se almacenan como UCS-2 o UCS-4.

Lo que no está claro aquí es qué valor (es) corresponde a UCS-2 y UCS-4.

Se espera que el código funcione en Python 2.6+.

Answer 1

Cuando se construyó con --enable-Unicode = ucs4:

>>> import sys 
>>> print sys.maxunicode 
1114111 

Cuando se construyó con --enable-Unicode = ucs2:

>>> import sys 
>>> print sys.maxunicode 
65535 

Answer 2

65535 es UCS-2:

Thus code point U+0000 is encoded as the number 0, and U+FFFF is encoded as 65535 (which is FFFF16 in hexadecimal).

Answer 3

Es 0xFFFF (o 65535) para UCS-2, y 0x10ffff (o 1.114.111) para UCS-4:

Py_UNICODE 
PyUnicode_GetMax(void) 
{ 
#ifdef Py_UNICODE_WIDE 
    return 0x10FFFF; 
#else 
    /* This is actually an illegal character, so it should 
     not be passed to unichr. */ 
    return 0xFFFF; 
#endif 
} 

El carácter máximo en el modo UCS-4 está definido por el máximo valor máximo representable en UTF-16.

Answer 4

Tuve este mismo problema una vez. He documentado por mí mismo en mi wiki en

http://arcoleo.org/dsawiki/Wiki.jsp?page=Python%20UTF%20-%20UCS2%20or%20UCS4

escribí -

import sys 
sys.maxunicode > 65536 and 'UCS4' or 'UCS2' 

Answer 5

sysconfig le dirá el tamaño de Unicode de las variables de configuración de pitón.

Los buildflags se pueden consultar de esta manera.

Python 2.7:

import sysconfig 
sysconfig.get_config_var('Py_UNICODE_SIZE') 

Python 2.6:

import distutils 
distutils.sysconfig.get_config_var('Py_UNICODE_SIZE') 

Answer 6

Yo tenía el mismo problema y encontró una pieza semi-oficial de código que hace exactamente eso y puede ser interesante para personas con el mismo problema: https://bitbucket.org/pypa/wheel/src/cf4e2d98ecb1f168c50a6de496959b4a10c6b122/wheel/pep425tags.py?at=default&fileviewer=file-view-default#pep425tags.py-83:89.

Viene del proyecto de rueda que necesita comprobar si el python se compila con ucs-2 o ucs-4 porque cambiará el nombre del archivo binario generado.

Answer 7

Otra forma es crear una matriz de Unicode y mirar el ItemSize:

import array 
bytes_per_char = array.array('u').itemsize 

Presupuesto de la array docs:

El código de tipo 'u' corresponde a caracteres Unicode de Python. En construcciones Unicode estrechas, esto es de 2 bytes, en construcciones amplias, esto es de 4 bytes.

Tenga en cuenta que la distinción entre las construcciones Unicode estrechas y anchas se elimina de Python 3.3 en adelante, consulte PEP393. El código de tipo 'u' para array está en desuso desde 3.3 y está programado para su eliminación en Python 4.0.