¿Cómo puedo convertir los valores de Oracle VARCHAR2 a UTF-8 de una lista de posibles codificaciones?

Question

Por razones heredadas, tenemos una columna VARCHAR2 en nuestra base de datos Oracle 10, donde la codificación de caracteres se establece en AL32UTF8, que contiene algunos valores que no son UTF-8. Los valores son siempre en uno de estos conjuntos de caracteres:

• US-ASCII
• UTF-8
• CP1252
• América-1

He escrito una función de Perl para arregla valores rotos fuera de la base de datos. Para un valor de esta columna de base de datos, recorre esta lista de codificaciones e intenta convertir el valor a UTF-8. Si la conversión falla, intenta la siguiente codificación. El primero en convertir sin error es el valor que guardamos. Ahora, me gustaría replicar esta funcionalidad dentro de la base de datos para que cualquiera pueda usarla.

Sin embargo, todo lo que puedo encontrar para esto es CONVERT function, que nunca falla, pero inserta un carácter de reemplazo para los caracteres que no reconoce. Entonces, de acuerdo con lo que puedo decir, no hay forma de saber cuándo falló la conversión.

para ello, tengo dos preguntas:

1. ¿Hay alguna interfaz existente que trata de convertir una cadena en uno de la lista de codificaciones, volviendo la primera que tiene éxito?
2. Y si no, ¿hay alguna otra interfaz que indique fallas si no puede convertir una cadena a una codificación? Si es así, entonces podría escribir la función anterior.

---

ACTUALIZACIÓN:

Como referencia, he escrito esta función PostgreSQL en PL/pgSQL que hace exactamente lo que necesito:

CREATE OR REPLACE FUNCTION encoding_utf8(
    bytea 
) RETURNS TEXT LANGUAGE PLPGSQL STRICT IMMUTABLE AS $$ 
DECLARE 
    encoding TEXT; 
BEGIN 
    FOREACH encoding IN ARRAY ARRAY[ 
     'UTF8', 
     'WIN1252', 
     'LATIN1' 
    ] LOOP 
     BEGIN 
      RETURN convert_from($1, encoding); 
     EXCEPTION WHEN character_not_in_repertoire OR untranslatable_character THEN 
      CONTINUE; 
     END; 
    END LOOP; 
END; 
$$; 

Me encantaría saber cómo hacer el equivalente en Oracle.

Answer 1

, gracias a la información clave acerca de los caracteres no válidos en UTF-8 desde @collapsar , así como algunas excavaciones de un compañero de trabajo, he llegado a esto:

CREATE OR REPLACE FUNCTION reencode(string IN VARCHAR2) RETURN VARCHAR2 
AS 
    encoded VARCHAR2(32767); 
    type array_t IS varray(3) OF VARCHAR2(15); 
    array array_t := array_t('AL32UTF8', 'WE8MSWIN1252', 'WE8ISO8859P1'); 
BEGIN 
    FOR I IN 1..array.count LOOP 
     encoded := CASE array(i) 
      WHEN 'AL32UTF8' THEN string 
      ELSE CONVERT(string, 'AL32UTF8', array(i)) 
     END; 
     IF instr(
      rawtohex(
       utl_raw.cast_to_raw(
        utl_i18n.raw_to_char(utl_raw.cast_to_raw(encoded), 'utf8') 
       ) 
      ), 
      'EFBFBD' 
     ) = 0 THEN 
      RETURN encoded; 
     END IF; 
    END LOOP; 
    RAISE VALUE_ERROR; 
END; 

Cu En verdad, nunca llega a WE8ISO8859P1: WE8MSWIN1252 convierte todos y cada uno de los 800 valores malos que tengo sin queja. Lo mismo no es cierto para mis implementaciones de Perl o PostgreSQL, donde CP1252 falla para algunos valores, pero ISO-8859-1 tiene éxito. Aún así, los valores de Oracle parecen adecuados y parecen ser Unicode válidos (probados al cargarlos en PostgreSQL), por lo que no me puedo quejar. Esto será lo suficientemente bueno para desinfectar mis datos, creo.

Answer 2

para comprobar si su base de datos contiene la columna no válido UTF-8 usa la siguiente consulta:

select CASE 
      INSTR (
        RAWTOHEX (
         utl_raw.cast_to_raw (
          utl_i18n.raw_to_char (
           utl_raw.cast_to_raw (<your_column>) 
           , 'utf8' 
         ) 
        ) 
       ) 
       , 'EFBFBD' 
      ) 
     WHEN 0 THEN 'OK' 
     ELSE 'FAIL' 
     END 
    from <your_table> 
     ; 

dado que su juego de caracteres db es AL32UTF8.

tenga en cuenta que EF BF BD representa un illegal encoding in utf-8.

como todos los otros conjuntos de caracteres que indica que están orientados por byte, la transformación a Unicode nunca fallará, pero posiblemente produzca diferentes puntos de código. sin información contextual, la determinación automatizada del juego de caracteres fuente real no será posible.

mejores saludos, Carsten

ps: nombres de Oracle para juegos de caracteres: CP1252 ->WE8MSWIN1252 LATIN-1 ->WE8ISO8859P1