wchar_t y codificación

Question

Si quiero convertir un trozo de cadena a UTF-16, digamos char * xmlbuffer, ¿tengo que convertir el tipo a wchar_t * antes de codificar a UTF-16? ¿Y se requiere el tipo char* antes de codificar a UTF-8?

¿Cómo se relaciona el wchar_t, char con UTF-8 o UTF-16 o UTF-32 u otro formato de transformación?

Gracias de antemano por ayuda!

Answer 1

No, no tiene que cambiar los tipos de datos.

Sobre wchar_t: la norma dice que

Tipo wchar_t es un tipo distinto cuyos valores pueden representar distintos códigos para todos los miembros de la mayor conjunto de caracteres ampliado especificada entre las localizaciones soportadas.

Lamentablemente, no dice qué codificación debe tener wchar_t; esto depende de la implementación. Así, por ejemplo dado

auto s = L"foo"; 

puede hacer absolutamente ninguna suposición sobre lo que el valor de la expresión es *s.

Sin embargo, puede utilizar un std::string como una secuencia opaca de bytes que representan el texto en cualquier formato de transformación de su elección sin problema. Simplemente no realice operaciones estándar relacionadas con cadenas de biblioteca en él.

Answer 2

El tamaño de wchar_t depende del compilador, por lo que su relación con los distintos formatos Unicode variará.

Answer 3

iconv es una función POSIX que puede ocuparse del paso de codificación intermedia. Puede usar iconv_open para especificar que tiene entrada UTF-8 y que desea la salida UTF-16. Luego, usando el identificador devuelto desde iconv_open, puede usar iconv (especificando su buffer de entrada y buffer de salida). Cuando haya terminado debe llamar iconv_close en el mango de regresar de iconv_open liberar recursos etc.

Usted tendrá que leer detenidamente la documentación del sistema acerca de lo codificaciones son apoyados por iconv y su esquema de nombres (es decir, lo que proporcionan iconv_open). Por ejemplo, en algunos sistemas iconv esperan "utf-8" y otros puede esperar "UTF8" etc.

Windows no proporciona una versión de iconv, y en su lugar ofrece a sus propias funciones de formato UTF: MultiByteToWideChar y WideCharToMultiByte.

//UTF8 to UTF16 
std::string input = ... 
int utf16len = MultiByteToWideChar(CP_UTF8, 0, input.c_str(), input.size(), 
               NULL, 0); 
std::wstring output(utf16len); 
MultiByteToWideChar(CP_UTF8, 0, input.c_str(), input.size(), 
           &output[0], output.size()); 
//UTF16 to UTF8 
std::wstring input = ... 
int utf8len = WideCharToMultiByte(CP_UTF8, 0, input.c_str(), input.size(), 
               NULL, 0, NULL, NULL); 
std::string output(utf8len); 
WideCharToMultiByte(CP_UTF8, 0, input.c_str(), input.size(), 
           &output[0], output.size(), NULL, NULL);