Cómo cambiar los caracteres diacríticos a los que no son diacríticos

Question

He encontrado una respuesta sobre cómo eliminar caracteres diacríticos en stackoverflow, pero ¿podría decirme si es posible cambiar los caracteres diacríticos por caracteres no diacríticos?

Ah .. y pienso en .NET (u otro si no es posible)

Answer 1

Copia desde my own answer to another question:

En lugar de crear su propia mesa, en su lugar podría convertir el texto en forma de normalización D, donde los personajes se representan como un personaje base más los signos diacríticos (por ejemplo, "á" se reemplazará por "a" seguido de un acento agudo que combine). A continuación, puede quitar todo lo que no sea una letra ASCII.

Las tablas aún existen, pero ahora son las del estándar Unicode.

También puede probar NFKD en lugar de NFD, para detectar aún más casos.

Referencias:

• http://unicode.org/reports/tr15/
• http://www.siao2.com/2005/02/19/376617.aspx
• http://www.siao2.com/2007/05/14/2629747.aspx

Answer 2

También valdría la pena dar un paso atrás y considerar qué que quieren hacer esto. Si intenta eliminar las diferencias de caracteres que considera insignificantes, debe ver el algoritmo de intercalación Unicode. Esta es la forma estándar de ignorar las diferencias, como mayúsculas o minúsculas, al comparar cadenas para buscar o clasificar.

Si va a mostrar el texto modificado, tenga en cuenta su público. Lo que puede filtrar con seguridad es sensible a la configuración regional. En inglés de EE. UU., "Igloo" = "igloo" y "resume" = "currículum", pero en turco, una minúscula I es ı (sin punto) y en francés, cote significa citar, côté significa "lado" y "côte" significa costa. Entonces, el lenguaje de colación determina qué diferencias son significativas.

Si eliminar diacritics es la solución correcta para su aplicación, es más seguro producir su propia tabla a la que agregue explícitamente los caracteres que desea convertir.

Se podría idear un enfoque general automatizado usando la descomposición Unicode. Con esto, puede descomponer un carácter con signos diacríticos para "combinar" caracteres (las marcas diacríticas) y el carácter base con el que se combinan. Filtre cualquier cosa que sea un carácter de combinación, y debería tener los que no son diacríticos.

La falta de discriminación en el método automático, sin embargo, podría tener algunos efectos inesperados. Recomendaría muchas pruebas en un cuerpo representativo de texto.

Answer 3

Para un ejemplo simple:

Para eliminar los signos diacríticos de una cadena:

string newString = myDiacriticsString.Normalize(NormalizationForm.FormD); 

Answer 4

Ya que nadie se ha molestado en publicar el código para hacer esto, aquí está:

// \p{Mn} or \p{Non_Spacing_Mark}: 
    // a character intended to be combined with another 
    // character without taking up extra space 
    // (e.g. accents, umlauts, etc.). 
    private readonly static Regex nonSpacingMarkRegex = 
     new Regex(@"\p{Mn}", RegexOptions.Compiled); 

    public static string RemoveDiacritics(string text) 
    { 
     if (text == null) 
      return string.Empty; 

     var normalizedText = 
      text.Normalize(NormalizationForm.FormD); 

     return nonSpacingMarkRegex.Replace(normalizedText, string.Empty); 
    } 

Nota: una gran razón para tener que hacer esto es cuando se está integrando a un sistema de terceros que solo hace ascii, pero sus datos están en unicode. Esto es común. Sus opciones son básicamente: eliminar los caracteres acentuados o intentar eliminar los acentos de los caracteres acentuados para intentar preservar tanto como sea posible de la entrada original. Obviamente, esta no es una solución perfecta, pero es un 80% mejor que simplemente eliminar cualquier carácter anterior ascii 127.

Answer 5

Mi sitio ingresa datos de fuentes externas que tienen muchos caracteres extraños. Escribí la siguiente función en C# para reemplazar los caracteres acentuados y tira a los caracteres del teclado no estadounidenses usando expresiones regulares:

using System.Text; 
    using System.Text.RegularExpressions; 

    internal static string SanitizeString(string source) 
    { 
     return Regex.Replace(source.Normalize(NormalizationForm.FormD), @"[^A-Za-z 0-9 \.,\?'""!@#\$%\^&\*\(\)-_=\+;:<>\/\\\|\}\{\[\]`~]*", string.Empty).Trim();  
    } 

espero que ayude.