Python y la normalización de caracteres

Question

Hola recupero de datos basado en texto UTF-8 de una fuente externa que contiene caracteres especiales como u"ıöüç" mientras que yo quiero normalizarlos a Inglés como "ıöüç" ->"iouc". ¿Cuál sería la mejor manera de lograr esto?

Answer 1

recomiendo el uso de Unidecode module:

>>> from unidecode import unidecode 
>>> unidecode(u'ıöüç') 
'iouc' 

Nota cómo se alimenta una cadena Unicode y se da salida a una cadena de bytes. La salida está garantizada para ser ASCII.

Answer 2

import unicodedata 
unicodedata.normalize() 

http://docs.python.org/library/unicodedata.html

Answer 3

Todo depende de qué tan lejos desee transitar el resultado. Si desea convertir todo en ASCII (αβγ a abg), entonces unidecode es el camino a seguir.

Si lo que desea es eliminar los acentos de las letras acentuadas, entonces usted podría intentar descomponer la cadena utilizando el formulario de normalización NFKD (esto convierte la letra acentuada á a una carta normal a seguido por U+0301 COMBINING ACUTE ACCENT) y luego desechar los acentos (que pertenecen al Unicode character classMn - "Marcar, no espaciar").

import unicodedata 

def remove_nonspacing_marks(s): 
    "Decompose the unicode string s and remove non-spacing marks." 
    return ''.join(c for c in unicodedata.normalize('NFKD', s) 
        if unicodedata.category(c) != 'Mn') 

Answer 4

La forma más sencilla que he encontrado:

unicodedata.normalize('NFKD', s).encode("ascii", "ignore")