Uso de UTF en el código de C++

Question

Cuál es la diferencia entre UTF y UCS.

¿Cuáles son las mejores formas de representar conjuntos de caracteres no europeos (usando UTF) en cadenas de C++? Me gustaría conocer sus recomendaciones para:

• Representación interna dentro del código
  • Para la manipulación de cadenas en tiempo de ejecución
  • Para utilizar la cadena para fines de visualización.
• mejor representación de almacenamiento (es decir En archivo)
• mejor en formato de transporte de alambre (transferencia entre la aplicación que puede ser en diferentes arquitecturas y tienen una configuración regional estándar diferente)

Answer 1

Cuál es la diferencia entre UTF y UCS.

Las codificaciones de UCS son de ancho fijo, y están marcadas por la cantidad de bytes que se utilizan para cada carácter. Por ejemplo, UCS-2 requiere 2 bytes por carácter. Los caracteres con puntos de código fuera del rango disponible no se pueden codificar en una codificación UCS.

Las codificaciones UTF son de ancho variable, y están marcadas por el número mínimo de bits para almacenar un carácter. Por ejemplo, UTF-16 requiere al menos 16 bits (2 bytes) por carácter. Los caracteres con grandes puntos de código se codifican utilizando una mayor cantidad de bytes: 4 bytes para los caracteres astrales en UTF-16.

• representación interna dentro del código
• mejor representación de almacenamiento (es decir, En archivo)
• mejor en formato de transporte de alambre (transferencia entre la aplicación que pueden estar en diferentes arquitecturas y tienen una configuración regional estándar diferente)

Para los sistemas modernos, la codificación más razonable de almacenamiento y transporte es UTF-8. Existen casos especiales en los que otros podrían ser apropiados: UTF-7 para servidores de correo antiguos, UTF-16 para editores de texto mal escritos, pero UTF-8 es el más común.

La representación interna preferida dependerá de su plataforma. En Windows, es UTF-16. En UNIX, es UCS-4. Cada uno tiene sus puntos buenos:

• Las cadenas UTF-16 nunca utilizan más memoria que una cadena UCS-4. Si almacena muchas cadenas grandes con caracteres principalmente en el plano básico multilingüe (BMP), UTF-16 requerirá mucho menos espacio que UCS-4. Fuera del BMP, usará la misma cantidad.
• UCS-4 es más fácil de razonar. Debido a que los caracteres UTF-16 pueden dividirse en varios "pares de sustitución", puede ser un desafío dividir o representar correctamente una cadena. El texto de UCS-4 no tiene este problema. UCS-4 también actúa de forma similar al texto ASCII en matrices "char", por lo que los algoritmos de texto existentes se pueden portar fácilmente.

Finalmente, algunos sistemas usan UTF-8 como formato interno. Esto es bueno si necesita interoperar con sistemas existentes basados ​​en ASCII o ISO-8859 porque los bytes NULL no están presentes en el medio del texto UTF-8, están en UTF-16 o UCS-4.

Answer 2

UTC está coordinado Hora universal, no un juego de caracteres (no encontré ningún juego de caracteres llamado UTC).

Para la representación interna, es posible que desee utilizar wchar_t para cada carácter, y std :: wstring para cadenas. Usan exactamente 2 bytes para cada personaje, por lo que la búsqueda y el acceso aleatorio serán rápidos.

Para el almacenamiento, si la mayor parte de los datos no son ASCII (es decir, código de> = 128), es posible que desee utilizar UTF-16, que es casi lo mismo que serializado wstring y wchar_t.

Dado que UTF-16 puede ser pequeño endian o big endian, para el transporte de cables, intente convertirlo a UTF-8, que es independiente de la arquitectura.

Answer 3

que sugeriría:

• Para la representación en el código, wchar_t o equivalente.
• Para representación de almacenamiento, UTF-8.
• Para la representación del cable, UTF-8.

La ventaja de UTF-8 en situaciones de almacenamiento y cableado es que la permanencia de la máquina no es un factor. La ventaja de utilizar un carácter de tamaño fijo como wchar_t en el código es que puede averiguar fácilmente la longitud de una cadena sin tener que escanearla.

Answer 4

¿Has leído el artículo de Joel Spolsky en The Absolute Minimum Every Software Developer Absolutely, Positively Must Know About Unicode and Character Sets (No Excuses!)?

Answer 5

En representación interna dentro del código, es mejor que hace esto para ambos caracteres europeos y no europeos:

\ uNNNN

caracteres en el rango \ u0020 a \ u007E, y un poco de espacios en blanco (por ejemplo, final de línea) se pueden escribir como caracteres ordinarios. Algo por encima de \ u0080, si lo escribe como un personaje ordinario, entonces compilará solo en su página de códigos (por ejemplo, OK en Francia, pero irrumpir en Rusia, OK en Rusia pero irrumpir en Japón, OK en China pero irrumpir en los EE. UU., Etc. .).