C++ UTF-8 de salida con ICU

Question

Estoy luchando para comenzar con la biblioteca de ICU de C++. He intentado que funcione el ejemplo más simple, pero incluso eso ha fallado. Me gustaría dar salida a una cadena UTF-8 y luego ir desde allí.

Aquí es lo que tengo:

#include <unicode/unistr.h> 
#include <unicode/ustream.h> 

#include <iostream> 

int main() 
{ 
    UnicodeString s = UNICODE_STRING_SIMPLE("привет"); 

    std::cout << s << std::endl; 

    return 0; 
} 

Aquí está la salida:

$ g++ -I/sw/include -licucore -Wall -Werror -o icu_test main.cpp 
$ ./icu_test 
пÑÐ¸Ð²ÐµÑ 

Mi soporte del terminal y la fuente UTF-8 y uso regularmente el terminal con UTF-8. Mi código fuente está en UTF-8.

Creo que de alguna manera necesito configurar el flujo de salida a UTF-8 porque la ICU almacena cadenas como UTF-16, pero realmente no estoy seguro y hubiera pensado que los operadores proporcionados por ustream.h haz eso de todos modos.

Cualquier ayuda sería apreciada, gracias.

Answer 1

Su programa funcionará si sólo cambia el inicializador para:

UnicodeString s("привет"); 

La macro que estaba usando es only for strings that contain "invariant characters", i.e., only latin letters, digits, and some punctuation.

Como se dijo anteriormente, las páginas de códigos de entrada/salida son complicadas. Usted dijo:

Mi terminal y soporte de fuentes UTF-8 y Regularmente uso del terminal con UTF-8. Mi código fuente está en UTF-8.

Eso puede ser cierto, pero la UCI no sabe que es verdad. La página de códigos del proceso puede ser diferente (digamos iso-8859-1), y la página de códigos de salida puede ser diferente (digamos shift-jis). Entonces, el programa no funcionaría. Pero, los caracteres invariantes que usan la API UNICODE_STRING_SIMPLE seguirían funcionando.

Espero que esto ayude.

srl, dev UCI

Answer 2

¿Qué pasa si se escribe el resultado en un archivo (o bien redirigir el uso de tuberías de la terminal, o abriendo una secuencia de archivo en el propio programa)

que determinaría si es o no es el terminal que falla manejar la salida correctamente

¿Qué sucede si inspecciona la cadena de salida en el depurador? ¿Contiene los valores correctos? Averigüe cómo se ve la codificación UTF-8 de su cadena y, y compárela con lo que obtiene en el depurador. O imprima el valor integral de cada byte y verifique que sean correctos.

Al trabajar con codificación siempre es difícil (pero esencial) determinar si el problema reside en su propio programa o en la conversión que ocurre cuando el texto se envía al sistema. Saque la terminal de la ecuación y verifique que su programa genera la salida correcta.

Answer 3

operator<<(ostream, UnicodeString) convierte entre UTF16 y caracteres mediante el uso de "convertidor predeterminado" de la UCI.AFAIU, el "convertidor predeterminado" (si no lo configura explícitamente con ucnv_setDefaultName()) depende de la plataforma y de la forma en que se compiló la ICU. ¿Qué obtienes de ucnv_getDefaultName()?