Convertir caracteres no ASCII de ASCII-8BIT a UTF-8

Question

Estoy extrayendo texto de sitios remotos e intentando cargarlo en una aplicación Ruby 1.9/Rails 3 que usa utf-8 de manera predeterminada.

Aquí es un ejemplo de un texto infractor:

miradas

Cancer Res; 71(3); 1-11. ©2011 AACR.\n 

Ese código de derechos de autor se expandió como este:

Cancer Res; 71(3); 1-11. \xC2\xA92011 AACR.\n 

Rubí me dice que la cadena está codificado como ASCII-8BIT y alimentar a mi La aplicación Rails me ofrece esto:

incompatible character encodings: ASCII-8BIT and UTF-8 

Puedo quitar el código de copyright usando este re Gex

str.gsub(/[\x00-\x7F]/n,'?') 

para producir este

Cancer Res; 71(3); 1-11. ??2011 AACR.\n 

Pero, ¿cómo puedo obtener un símbolo de copyright (y varios otros símbolos, como letras griegas) convierte en los mismos símbolos en UTF-8? Seguramente es posible ...

veo referencias a la utilización de force_encoding pero esto no funciona:

str.force_encoding('utf-8').encode 

Sé que existen muchas otras personas con problemas similares, pero todavía tengo que ver una solución que trabajos.

Answer 1

Esto funciona para mí:

#encoding: ASCII-8BIT 
str = "\xC2\xA92011 AACR" 
p str, str.encoding 
#=> "\xC2\xA92011 AACR" 
#=> #<Encoding:ASCII-8BIT> 

str.force_encoding('UTF-8') 
p str, str.encoding 
#=> "©2011 AACR" 
#=> #<Encoding:UTF-8> 

Answer 2

que solía hacer esto por un guión que raspa páginas Windows griego-codificado, usando abierta uri, iconv y hpricot:

doc = open(DATA_URL) 
doc.rewind 
data = Hpricot(Iconv.conv('utf-8', "WINDOWS-1253", doc.readlines.join("\n"))) 

creo que era de ruby ​​1.8.7, no está seguro de cómo son las cosas con el rubí 1,9

Answer 3

hay dos posibilidades:

1. Los datos de entrada ya son UTF-8, pero Ruby simplemente no lo sabe. Ese parece ser su caso, ya que "\ xC2 \ xA9" es válido UTF-8 para el símbolo de copyright. En ese caso, solo necesita decirle a Ruby que los datos ya son UTF-8 usando force_encoding.

   Por ejemplo, "\ xC2 \ xA9" .force_encoding ('ASCII-8BIT') recrearía el bit relevante de sus datos de entrada. Y "\ xC2 \ xA9" .force_encoding ('ASCII-8BIT'). Force_encoding ('UTF-8') demostraría que puede decirle a Ruby que es realmente UTF-8 y obtener el resultado deseado.

2. Los datos de entrada están en otra codificación y necesita que Ruby lo transcodifique a UTF-8. En ese caso, tendría que decirle a Ruby cuál es la codificación actual (ASCII-8BIT es ruby-speak para binario, no es una codificación real), luego dígale a Ruby que lo transcodifique.

   Por ejemplo, supongamos que sus datos de entrada fueron ISO-8859-1. En esa codificación, el símbolo de copyright es simplemente "\ xA9". Esto generaría tal cantidad de datos: "\ xA9" .force_encoding ('ISO-8859-1') Y esto demostraría que puede obtener que Ruby transcodifique eso a UTF-8: "\ xA9" .force_encoding ('ISO -8859-1 ').encode ('UTF-8')