Convierta cadenas ISO-8859-1 a UTF-8 en C/C++

Question

Cree que esto estaría disponible, pero me está costando encontrar una función de biblioteca simple que convierta una cadena C o C++ de ISO -8859-1 que codifica a UTF-8. Estoy leyendo datos que están en codificación ISO-8859-1 de 8 bits, pero necesito convertirlos a una cadena UTF-8 para utilizar en una base de datos SQLite y, finalmente, una aplicación de Android.

Encontré un producto comercial, pero está más allá de mi presupuesto en este momento.

Answer 1

Si la codificación de origen se siempre ser ISO-8859-1, esto es trivial. He aquí un bucle:

unsigned char *in, *out; 
while (*in) 
    if (*in<128) *out++=*in++; 
    else *out++=0xc2+(*in>0xbf), *out++=(*in++&0x3f)+0x80; 

Por razones de seguridad es necesario asegurarse de que el búfer de salida es dos veces mayor que el buffer de entrada, o bien incluyen un límite de tamaño y comprobar que en la condición de bucle.

Answer 2

El estándar C++ 03 no proporciona funciones para convertir directamente entre conjuntos de caracteres específicos.

Dependiendo de su sistema operativo, puede usar iconv() en Linux, MultiByteToWideChar() & Co. en Windows. Una biblioteca que proporciona un gran soporte para la conversión de cadenas es la biblioteca de la ICU que es de código abierto.

Answer 3

ISO-8859-1 a UTF-8 implica nada más que el algoritmo de codificación porque ISO-8859-1 es un subconjunto de Unicode. Entonces ya tienes los puntos de código Unicode. Compruebe Wikipedia para el algoritmo.

Los aspectos de C++, que integra eso con iostreams, son mucho más difíciles.

Te sugiero que camines alrededor de esa montaña en lugar de intentar perforarla o escalarla, es decir, implementar un simple convertidor de cuerda a cuerda.

Saludos & HTH.,

Answer 4

La gente de Unicode tiene algunas tablas que pueden ayudar si se enfrenta con Windows 1252 en lugar de con el verdadero ISO-8859-1. El definitivo parece ser this one que mapea cada punto de código en CP1252 a un punto de código en Unicode. Codificar el Unicode como UTF-8 es un ejercicio directo.

No sería difícil analizar esa tabla directamente y formar una tabla de búsqueda en tiempo de compilación.

Answer 5

a C++ yo uso esto:

std::string iso_8859_1_to_utf8(std::string &str) 
{ 
    string strOut; 
    for (std::string::iterator it = str.begin(); it != str.end(); ++it) 
    { 
     uint8_t ch = *it; 
     if (ch < 0x80) { 
      strOut.push_back(ch); 
     } 
     else { 
      strOut.push_back(0xc0 | ch >> 6); 
      strOut.push_back(0x80 | (ch & 0x3f)); 
     } 
    } 
    return strOut; 
} 

Answer 6

Puede utilizar el impulso :: biblioteca local:

http://www.boost.org/doc/libs/1_49_0/libs/locale/doc/html/charset_handling.html

El código se vería así:

#include <boost/locale.hpp> 
std::string utf8_string = to_utf<char>(latin1_string,"Latin1");