¿Las expresiones regulares de C++ 11 funcionan con cadenas UTF-8?

Question

Si quiero usar las expresiones regulares de C++ 11 con cadenas unicode, ¿funcionarán con char * como UTF-8 o tendré que convertirlas a una cadena wchar_t *?

Answer 1

Debería probar su compilador y el sistema que está utilizando, pero, en teoría, será compatible si su sistema tiene una configuración regional UTF-8. La prueba siguiente volvió cierto para mí en Clang/OS X.

bool test_unicode() 
{ 
    std::locale old; 
    std::locale::global(std::locale("en_US.UTF-8")); 

    std::regex pattern("[[:alpha:]]+", std::regex_constants::extended); 
    bool result = std::regex_match(std::string("abcdéfg"), pattern); 

    std::locale::global(old); 

    return result; 
} 

NOTA: Este fue compilado en un archivo de lo que era codificación UTF-8.

---

Solo para estar seguro, también usé una cadena con las versiones hexadecimales explícitas. Funcionó también.

bool test_unicode2() 
{ 
    std::locale old; 
    std::locale::global(std::locale("en_US.UTF-8")); 

    std::regex pattern("[[:alpha:]]+", std::regex_constants::extended); 
    bool result = std::regex_match(std::string("abcd\xC3\xA9""fg"), pattern); 

    std::locale::global(old); 

    return result; 
} 

---

actualizacióntest_unicode() todavía funciona para mí

$ file regex-test.cpp 
regex-test.cpp: UTF-8 Unicode c program text 

$ g++ --version 
Configured with: --prefix=/Applications/Xcode-8.2.1.app/Contents/Developer/usr --with-gxx-include-dir=/usr/include/c++/4.2.1 
Apple LLVM version 8.0.0 (clang-800.0.42.1) 
Target: x86_64-apple-darwin15.6.0 
Thread model: posix 
InstalledDir: /Applications/Xcode-8.2.1.app/Contents/Developer/Toolchains/XcodeDefault.xctoolchain/usr/bin 

Answer 2

C++ 11 expresiones regulares "funcionan con" UTF-8 muy bien, para una definición mínima de "trabajo". Si quieres compatibilidad con expresiones regulares Unicode "completas" para cadenas UTF-8, estarás mejor con una biblioteca que admita eso directamente, como http://www.pcre.org/.

Answer 3

Sí lo harán, esto es por diseño de la codificación UTF-8. Las operaciones de subcadena deberían funcionar correctamente si la cadena se trata como una matriz de bytes en lugar de una matriz de puntos de código.

Consulte la Pregunta frecuente n. ° 18 aquí: http://www.utf8everywhere.org/#faq.validation acerca de cómo se logra esto en el diseño de esta codificación.