¿Cuál es la mejor manera de eliminar acentos en una cadena unicode de Python?

Question

Tengo una cadena Unicode en Python, y me gustaría eliminar todos los acentos (signos diacríticos).

me encontré en la web una manera elegante de hacer esto en Java:

1. convertir la cadena Unicode a su forma normalizada de longitud (con un carácter independiente para las letras y los signos diacríticos)
2. eliminar todos los caracteres cuyo tipo Unicode es "diacrítico".

¿Debo instalar una biblioteca como pyICU o es posible con la biblioteca estándar de python? ¿Y qué hay de Python 3?

Nota importante: me gustaría evitar el código con una asignación explícita de los caracteres acentuados a su contraparte no acentuada.

Answer 1

Unidecode es la respuesta correcta para esto. Transcribe cualquier cadena Unicode en la representación más cercana posible en texto ascii.

Ejemplo:

accented_string = u'Málaga' 
# accented_string is of type 'unicode' 
import unidecode 
unaccented_string = unidecode.unidecode(accented_string) 
# unaccented_string contains 'Malaga'and is of type 'str' 

Answer 2

acabo de encontrar esta respuesta en la Web:

import unicodedata 

def remove_accents(input_str): 
    nfkd_form = unicodedata.normalize('NFKD', input_str) 
    only_ascii = nfkd_form.encode('ASCII', 'ignore') 
    return only_ascii 

Funciona bien (para el francés, por ejemplo), pero creo que el segundo paso (eliminación de los acentos) podría manejarse mejor que dejar caer la no -caracteres ASCII, porque esto fallará para algunos idiomas (griego, por ejemplo). La mejor solución sería eliminar explícitamente los caracteres Unicode etiquetados como signos diacríticos.

Editar: este es el truco:

import unicodedata 

def remove_accents(input_str): 
    nfkd_form = unicodedata.normalize('NFKD', input_str) 
    return u"".join([c for c in nfkd_form if not unicodedata.combining(c)]) 

unicodedata.combining(c) devolverá true si el personaje c se puede combinar con el carácter anterior, es decir, principalmente si se trata de una diacrítica.

Editar 2: remove_accents espera una cadena Unicode, no una cadena de bytes. Si usted tiene una cadena de bytes, entonces debe decodificar en una cadena Unicode como esto:

encoding = "utf-8" # or iso-8859-15, or cp1252, or whatever encoding you use 
byte_string = b"café" # or simply "café" before python 3. 
unicode_string = byte_string.decode(encoding) 

Answer 3

¿Qué tal esto:

import unicodedata 
def strip_accents(s): 
    return ''.join(c for c in unicodedata.normalize('NFD', s) 
        if unicodedata.category(c) != 'Mn') 

Esto funciona en letras griegas, también:

>>> strip_accents(u"A \u00c0 \u0394 \u038E") 
u'A A \u0394 \u03a5' 
>>> 

character category "Mn" significa Nonspacing_Mark, que es similar a unicodedata.combining en la respuesta de MiniQuark (no pensé en unicodedata.combining, pero probablemente es la mejor solución encendido, porque es más explícito).

Y tenga en cuenta que estas manipulaciones pueden alterar significativamente el significado del texto. Acentos, diéresis, etc. no son "decoración".

Answer 4

Esto no sólo se encarga de acentos, pero también "golpes" (como en ø etc.):

import unicodedata as ud 

def rmdiacritics(char): 
    ''' 
    Return the base character of char, by "removing" any 
    diacritics like accents or curls and strokes and the like. 
    ''' 
    desc = ud.name(unicode(char)) 
    cutoff = desc.find(' WITH ') 
    if cutoff != -1: 
     desc = desc[:cutoff] 
    return ud.lookup(desc) 

Ésta es la forma más elegante que puedo pensar (y ha sido mencionado por alexis en un comentario en esta página), aunque no creo que sea muy elegante.

Todavía hay letras especiales que no son manejadas por esto, como letras giradas e invertidas, ya que su nombre Unicode no contiene 'CON'. Depende de lo que quieras hacer de todos modos. A veces necesitaba acentos para lograr el orden de clasificación del diccionario.

Answer 5

En respuesta a la respuesta de @ MiniQuark:

yo estaba tratando de leer en un archivo CSV que era (que contienen acentos) medio francesa y también algunas cadenas que con el tiempo se convertiría en números enteros y flotadores. Como prueba, he creado un archivo test.txt que se veía así:

Montréal, über, 12.89, Mère, Françoise, noël, 889

he tenido que incluir líneas 2 y 3 a conseguir que funcione (que encontré en un billete de Python), así como incorporar @ El comentario de Jabba:

import sys 
reload(sys) 
sys.setdefaultencoding("utf-8") 
import csv 
import unicodedata 

def remove_accents(input_str): 
    nkfd_form = unicodedata.normalize('NFKD', unicode(input_str)) 
    return u"".join([c for c in nkfd_form if not unicodedata.combining(c)]) 

with open('test.txt') as f: 
    read = csv.reader(f) 
    for row in read: 
     for element in row: 
      print remove_accents(element) 

El resultado:

Montreal 
uber 
12.89 
Mere 
Francoise 
noel 
889 

(Nota: estoy en Mac OS X 10.8.4 y el uso de Python 2.7.3)

Answer 6

Actualmente trabajo en proyectos compatibles con Python 2.6, 2.7 y 3.4 y tengo que crear identificaciones a partir de entradas de usuario gratuitas.

Gracias a ti, he creado esta función que funciona de maravilla.

import re 
import unicodedata 

def strip_accents(text): 
    """ 
    Strip accents from input String. 

    :param text: The input string. 
    :type text: String. 

    :returns: The processed String. 
    :rtype: String. 
    """ 
    try: 
     text = unicode(text, 'utf-8') 
    except (TypeError, NameError): # unicode is a default on python 3 
     pass 
    text = unicodedata.normalize('NFD', text) 
    text = text.encode('ascii', 'ignore') 
    text = text.decode("utf-8") 
    return str(text) 

def text_to_id(text): 
    """ 
    Convert input text to id. 

    :param text: The input string. 
    :type text: String. 

    :returns: The processed String. 
    :rtype: String. 
    """ 
    text = strip_accents(text.lower()) 
    text = re.sub('[ ]+', '_', text) 
    text = re.sub('[^0-9a-zA-Z_-]', '', text) 
    return text 

resultado:

text_to_id("Montréal, über, 12.89, Mère, Françoise, noël, 889") 
>>> 'montreal_uber_1289_mere_francoise_noel_889' 

Answer 7

Algunas lenguas han combinar diacríticos como cartas de lenguaje y signos diacríticos del acento para especificar acento.

creo que es más seguro especificar explícitamente lo diactrics desea despojar a:

def strip_accents(string, accents=('COMBINING ACUTE ACCENT', 'COMBINING GRAVE ACCENT', 'COMBINING TILDE')): 
    accents = set(map(unicodedata.lookup, accents)) 
    chars = [c for c in unicodedata.normalize('NFD', string) if c not in accents] 
    return unicodedata.normalize('NFC', ''.join(chars)) 

Answer 8

import unicodedata 
s = 'Émission' 
search_string = ''.join((c for c in unicodedata.normalize('NFD', s) if unicodedata.category(c) != 'Mn')) 

Para Python 3.x

print (search_string) 

Para Python 2.X

print search_string 

Answer 9

gensim.utils.deaccent(text) de Gensim - topic modelling for humans:

deaccent("Šéf chomutovských komunistů dostal poštou bílý prášek") 'Sef chomutovskych komunistu dostal postou bily prasek'

Otra solución es unidecode.

No es que la solución sugerida con unicodedata normalmente elimina los acentos sólo en algunos caracteres (por ejemplo, se convierte en 'ł''', en lugar de en 'l').