¿Cómo puedo determinar la longitud de bytes de una cadena codificada en utf-8 en Python?

Question

Estoy trabajando con las cargas de Amazon S3 y estoy teniendo problemas con los nombres clave que son demasiado largos. S3 limita la longitud de la clave por bytes, no por caracteres.

A partir de los documentos:

El nombre de una clave es una secuencia de caracteres Unicode cuya codificación UTF-8 es como máximo 1024 bytes de longitud.

también intento para incrustar metadatos en el nombre del archivo, así que tengo que ser capaz de calcular la longitud de bytes actual de la cadena usando Python para asegurarse de que los metadatos no hace que la tecla demasiado tiempo (en cuyo caso Tendría que usar un archivo de metadatos por separado).

¿Cómo puedo determinar la longitud de bytes de la cadena codificada en utf-8? De nuevo, no estoy interesado en la longitud del carácter ... sino en la longitud real del byte utilizada para almacenar la cadena.

Answer 1

def utf8len(s): 
    return len(s.encode('utf-8')) 

funciona bien en Python 2 y 3.

Answer 2

Utilice el método de cadena 'codificar' convertir de una cadena de caracteres de un byte de cuerdas, a continuación, utilizar len() como normal:

>>> s = u"¡Hola, mundo!"              
>>> len(s)                  
13 # characters                    
>>> len(s.encode('utf-8')) 
14 # bytes 

Answer 3

La codificación de la cadena y el uso de len en el resultado funciona muy bien, ya que otras respuestas han demostrado. Necesita construir una copia descartable de la cadena; si está trabajando con cadenas muy grandes, esto podría no ser óptimo (no creo que 1024 bytes sean grande). La estructura de UTF-8 le permite obtener la longitud de cada carácter muy fácilmente sin siquiera codificarlo, aunque aún podría ser más fácil codificar un solo carácter. Presento ambos métodos aquí, deberían dar el mismo resultado.

def utf8_char_len_1(c): 
    codepoint = ord(c) 
    if codepoint <= 0x7f: 
     return 1 
    if codepoint <= 0x7ff: 
     return 2 
    if codepoint <= 0xffff: 
     return 3 
    if codepoint <= 0x10ffff: 
     return 4 
    raise ValueError('Invalid Unicode character: ' + hex(codepoint)) 

def utf8_char_len_2(c): 
    return len(c.encode('utf-8')) 

utf8_char_len = utf8_char_len_1 

def utf8len(s): 
    return sum(utf8_char_len(c) for c in s)