¿Cómo se escribe el código que es seguro para UTF-8?

Question

Tenemos un conjunto de aplicaciones que fueron desarrolladas para el juego de caracteres ASCII. Ahora, estamos tratando de instalarlo en Islandia, y estamos teniendo problemas donde los personajes islandeses se están jodiendo.

Estamos trabajando en nuestros problemas, pero me preguntaba: ¿existe una buena "guía" para escribir código C++ diseñado para caracteres de 8 bits y que funcionará correctamente cuando se le den datos UTF-8 a ¿eso?

No puedo esperar que todos lean todo el estándar Unicode, pero si hay algo más digerible disponible, me gustaría compartirlo con el equipo para que no nos topemos con estos problemas nuevamente.

Volver a escribir todas las aplicaciones para usar wchar_t o alguna otra representación de cadena no es posible en este momento. También notaré que estas aplicaciones se comunican a través de redes con servidores y dispositivos que usan caracteres de 8 bits, por lo que incluso si hiciéramos Unicode internamente, todavía tendríamos problemas con la traducción en los límites. En su mayor parte, estas aplicaciones solo pasan datos; no "procesan" el texto de ninguna otra forma que no sea copiarlo de un lugar a otro.

Los sistemas operativos utilizados son Windows y Linux. Usamos std :: string y strings simples de C. (Y no me pida para defender cualquiera de las decisiones de diseño Sólo estoy tratando de ayudar a solucionar el lío..)

---

Aquí es una lista de lo que se ha sugerido:

• The Absolute Minimum Every Software Developer Absolutely, Positively Must Know About Unicode and Character Sets (No Excuses!)
• UTF-8 and Unicode FAQ for Unix/Linux
• The Unicode HOWTO

Answer 1

Esto se ve como una guía global rápida:
http://www.cl.cam.ac.uk/~mgk25/unicode.html

Answer 2

Es posible que desee utilizar amplia c haracters (wchar_t en lugar de char y std :: wstring en lugar de std :: string). Esto no resuelve automáticamente el 100% de tus problemas, pero es un buen primer paso.

También use funciones de cadena que sean compatibles con Unicode (consulte la documentación). Si algo manipula caracteres anchos o cadenas, generalmente es consciente de que son anchos.

Answer 3

Sé consciente de que Unicode no encaja en caracteres de 16 bits; por lo tanto, utilice caracteres de 32 bits o codificación de ancho variable (UTF-8 es el más popular).

Answer 4

islandés usa ISO Latin 1, por lo que ocho bits deberían ser suficientes. Necesitamos más detalles para descubrir qué está pasando.

Answer 5

UTF-8 fue diseñado exactamente teniendo en cuenta sus problemas. Una cosa que tendría cuidado es que ASCII es realmente una codificación de 7 bits, por lo que si alguna parte de su infraestructura está utilizando la octava parte para otros fines, puede ser complicado.

Answer 6

Simplemente tenga 8 bits de limpieza, en su mayor parte. Sin embargo, deberá tener en cuenta que cualquier carácter que no sea ASCII se divide en varios bytes, por lo que debe tener en cuenta esto si se trata de texto de línea o truncado para su visualización.

UTF-8 tiene la ventaja de que se puede decir siempre dónde se encuentra en un carácter multi-byte: si el bit 7 se establece y el bit 6 de reinicio (byte es 0x80-0xBF) este es un byte final, mientras que si los bits 7 y 6 se configuran y 5 se reinicia (0xC0-0xDF) es un byte principal con un byte final; si se configuran 7, 6 y 5 y se restablece 4 (0xE0-0xEF), se trata de un byte inicial con dos bytes finales, y así sucesivamente. La cantidad de bits consecutivos configurados en el bit más significativo es la cantidad total de bytes que componen el carácter. Es decir:

110x xxxx = dos bytes carácter
1110 xxxx = tres bytes carácter
1111 0xxx = cuatro bytes carácter
etc

El alfabeto islandés todo está contenido en la norma ISO 8859-1 y por lo tanto, Windows-1252. Si se trata de una aplicación en modo consola, tenga en cuenta que la consola utiliza páginas de códigos de IBM, por lo que (según la configuración regional del sistema) podría mostrarse en 437, 850 o 861. Windows no tiene soporte de visualización nativo para UTF-8; debe transformar a UTF-16 y usar las API Unicode.

Llamar SetConsoleCP y SetConsoleOutputCP, especificando la página de códigos 1252, ayudará con su problema, si se trata de una aplicación de modo de consola. Lamentablemente, la fuente de la consola seleccionada debe ser una fuente que admita la página de códigos, y no veo la forma de establecer la fuente. Las fuentes de mapa de bits estándar solo admiten la página de códigos OEM predeterminada del sistema.

Answer 7

Es posible que desee comprobar icu. Podrían tener funciones disponibles que facilitarían el trabajo con cadenas UTF-8.

Answer 8

El islandés, como el francés, el alemán y la mayoría de los demás idiomas de Europa occidental, puede admitirse utilizando un conjunto de caracteres de 8 bits (CP1252 en Windows, ISO 8859-1 también conocido como Latin1 en * x). Este fue el enfoque estándar antes de que se inventara Unicode, y todavía es bastante común. Como dices, tienes una limitación: no puedes volver a escribir tu aplicación para usar wchar, y no es necesario.

No debería sorprender que UTF-8 esté causando problemas; UTF-8 codifica los caracteres que no son ASCII (por ejemplo, los caracteres latinos acentuados, thorn, eth, etc.) como DOS BYTES cada uno.

El único consejo general que se puede dar es bastante simple (en teoría): (1) decidir qué conjunto de caracteres que se va a apoyar (Unicode, Latin1, CP1252, ...) en su sistema (2) si se le están suministrando datos codificados de alguna otra forma (por ejemplo, UTF-8) y luego transcodifíquelos a su estándar (p. ej. CP1252) en el borde del sistema (3) si necesita suministrar datos codificados de alguna otra forma, ..