Cómo convertir UTF-8 std :: string a UTF-16 std :: wstring?

Question

Si tengo un UTF-8 std::string, ¿cómo lo convierto en un UTF-16 std::wstring? En realidad, quiero comparar dos palabras en persa.

Answer 1

Aquí hay algo de código. Solo se ha probado ligeramente y es probable que haya algunas mejoras. Llame a esta función para convertir una cadena UTF-8 a una cadena WT UTF-16. Si cree que la cadena de entrada no es UTF-8, arrojará una excepción, de lo contrario, devuelve la cadena equivalente UTF-16.

std::wstring utf8_to_utf16(const std::string& utf8) 
{ 
    std::vector<unsigned long> unicode; 
    size_t i = 0; 
    while (i < utf8.size()) 
    { 
     unsigned long uni; 
     size_t todo; 
     bool error = false; 
     unsigned char ch = utf8[i++]; 
     if (ch <= 0x7F) 
     { 
      uni = ch; 
      todo = 0; 
     } 
     else if (ch <= 0xBF) 
     { 
      throw std::logic_error("not a UTF-8 string"); 
     } 
     else if (ch <= 0xDF) 
     { 
      uni = ch&0x1F; 
      todo = 1; 
     } 
     else if (ch <= 0xEF) 
     { 
      uni = ch&0x0F; 
      todo = 2; 
     } 
     else if (ch <= 0xF7) 
     { 
      uni = ch&0x07; 
      todo = 3; 
     } 
     else 
     { 
      throw std::logic_error("not a UTF-8 string"); 
     } 
     for (size_t j = 0; j < todo; ++j) 
     { 
      if (i == utf8.size()) 
       throw std::logic_error("not a UTF-8 string"); 
      unsigned char ch = utf8[i++]; 
      if (ch < 0x80 || ch > 0xBF) 
       throw std::logic_error("not a UTF-8 string"); 
      uni <<= 6; 
      uni += ch & 0x3F; 
     } 
     if (uni >= 0xD800 && uni <= 0xDFFF) 
      throw std::logic_error("not a UTF-8 string"); 
     if (uni > 0x10FFFF) 
      throw std::logic_error("not a UTF-8 string"); 
     unicode.push_back(uni); 
    } 
    std::wstring utf16; 
    for (size_t i = 0; i < unicode.size(); ++i) 
    { 
     unsigned long uni = unicode[i]; 
     if (uni <= 0xFFFF) 
     { 
      utf16 += (wchar_t)uni; 
     } 
     else 
     { 
      uni -= 0x10000; 
      utf16 += (wchar_t)((uni >> 10) + 0xD800); 
      utf16 += (wchar_t)((uni & 0x3FF) + 0xDC00); 
     } 
    } 
    return utf16; 
} 

Answer 2

Hay algunos relevantes Q & A here y here que vale la pena leer.

Básicamente, necesita convertir la cadena a un formato común; mi preferencia es siempre convertir a UTF-8, pero su kilometraje puede ser cauteloso.

Ha habido un montón de software escrito para hacer la conversión - la conversión hacia delante es straigth y se puede escribir en pocas horas - sin embargo, por qué no pick up something already done such as the UTF-8 CPP

Answer 3

Esta página también parece útil: http://www.codeproject.com/KB/string/UtfConverter.aspx

En la sección de comentarios de esa página, también hay algunas sugerencias interesantes para esta tarea como:

// Get en ASCII std::string from anywhere 
std::string sLogLevelA = "Hello ASCII-world!"; 

std::wstringstream ws; 
ws << sLogLevelA.c_str(); 
std::wstring sLogLevel = ws.str(); 

O

// To std::string: 
str.assign(ws.begin(), ws.end()); 
// To std::wstring 
ws.assign(str.begin(), str.end()); 

Aunque no estoy seguro de la validez de estos enfoques ...

Answer 4

Esta es la forma en que lo hace con C++ 11:

std::string str = "your string in utf8"; 
std::wstring_convert<std::codecvt_utf8_utf16<char16_t>> converter; 
std::wstring wstr = converter.from_bytes(str); 

Y estos son los encabezados que necesita:

#include <iostream> 
#include <string> 
#include <locale> 
#include <codecvt> 

Un ejemplo más completo disponible aquí: http://en.cppreference.com/w/cpp/locale/wstring_convert/from_bytes