¿Dónde puedo comenzar con la programación amigable para Unicode en C?

Question

Por lo tanto, estoy trabajando en un proyecto plain-C (ANSI 9899: 1999), y estoy tratando de averiguar por dónde empezar re: Unicode, UTF-8 y todo ese jazz.

Específicamente, es un proyecto de intérprete de idiomas, y tengo dos lugares principales donde tendré que manejar Unicode: leer en archivos fuente (el lenguaje ostensiblemente admite identificadores Unicode y similares) y en objetos 'de cadena'.

Estoy familiarizado con todos los fundamentos obvios sobre Unicode, UTF-7/8/16/32 & UCS-2/4, y así sucesivamente ... Estoy buscando principalmente C específica (es decir, por favor no C++ o C#, que es todo lo que se ha documentado aquí en SO anteriormente) recursos en cuanto a mis 'próximos pasos' para implementar cosas Unicode-friendly ... en C.

Cualquier enlace, página de manual, artículos de Wikipedia, código de ejemplo, es muy bienvenido. También trataré de mantener una lista de dichos recursos aquí en la pregunta original, para cualquiera que lo encuentre más tarde.

---

• Una lectura obligada antes de considerar cualquier otra cosa, si no está familiarizado con Unicode, y lo que una codificación realidad es: http://www.joelonsoftware.com/articles/Unicode.html
• El UTF-8 home-page: http://www.utf-8.com/
• man 3 iconv (así como iconv_open y iconvctl)
• International Components for Unicode (vía Geoff Reedy)
• libbasekit, que parece incluir herramientas Unicode de manipulación de luz
• Glib tiene algunos Unicode funciona
• Una función básica UTF-8 detector, por Christoph

Answer 1

International Components for Unicode proporciona una biblioteca portátil C para el manejo de Unicode. Aquí está la presentación de su ascensor para ICU4C:

Los lenguajes C y C++ y muchos entornos de sistemas operativos no ofrecen un soporte completo para Unicode y servicios de manejo de texto que cumplen con los estándares. Aunque algunas plataformas proporcionan buenos servicios de manejo de texto Unicode, el código de la aplicación portátil no puede hacer uso de ellos. Las bibliotecas de ICU4C llenan este espacio. ICU4C proporciona una base abierta, flexible y portátil para que las aplicaciones puedan utilizar sus requisitos de globalización de software. ICU4C sigue de cerca los estándares de la industria, incluidos Unicode y CLDR (Common Locale Data Repository).

Answer 2

Creo que una de las preguntas interesantes es: ¿cuál debería ser su formato interno canónico para cadenas? Las 2 opciones obvias (al menos para mí) son

a) utf8 en vainilla c-cuerdas b) utf16 en matrices cortas sin firmar

En proyectos anteriores siempre he elegido UTF-8. Por qué ; porque es el camino de menor resistencia en el mundo C. Todo lo que está interactuando (stdio, string.h, etc.) funcionará bien.

Ahora viene - qué formato de archivo.El problema aquí es que es visible para sus usuarios (a menos que proporcione el único editor para su idioma). Aquí supongo que tienes que tomar lo que te dan y tratar de adivinar mirando a escondidas (ayuda de marcas de orden de bytes)

Answer 3

GLib tiene algo de Unicode functions y es una biblioteca bastante liviana. No está cerca del mismo nivel de funcionalidad que proporciona ICU, pero podría ser lo suficientemente bueno para algunas aplicaciones. Las otras características de GLib también son buenas para los programas C portátiles.

GTK + está construido en la parte superior de GLib. GLib proporciona las construcciones de lenguaje algorítmicas fundamentales comúnmente duplicadas en las aplicaciones. Esta biblioteca tiene características tales como (esta lista no es una lista exhaustiva):

• sistema de tipo de objeto y
• bucle principal
• la carga dinámica de los módulos (es decir, los plug-ins)
• apoyo Thread
• apoyo temporizador
• asignador de memoria
• roscados colas (síncrona y asíncrona)
• listas (de enlace simple, doblemente enlazada, dos casquillos)
• Las tablas hash
• Arrays
• Trees (N-ary y binario equilibrado)
• utilidades de cuerda y charset manipulación
• escáner léxico y XML parser
• Base64 (codificación & decodificación)