Rubí leer el archivo CSV como UTF-8 y/o convertir ASCII de 8 bits de codificación a UTF-8

Question

estoy usando ruby ​​1.9.2

Estoy intentando analizar un archivo CSV que contiene algo de francés palabras (por ejemplo, spécifié) y colocar los contenidos en una base de datos MySQL.

Cuando leo las líneas del archivo CSV,

file_contents = CSV.read("csvfile.csv", col_sep: "$") 

Los elementos regresan como cadenas que se ASCII-8BIT codificado (spécifié convierte sp \ xE9cifi \ xE9), y cadenas como "spécifié "NO se guardan correctamente en mi base de datos MySQL.

Yehuda Katz dice que ASCII-8BIT es realmente información "binaria", lo que significa que CSV no tiene idea de cómo leer la codificación adecuada.

Por lo tanto, si trato de hacer CSV forzar la codificación de la siguiente manera:

file_contents = CSV.read("csvfile.csv", col_sep: "$", encoding: "UTF-8")

me sale el siguiente error

ArgumentError: invalid byte sequence in UTF-8: 

Si vuelvo a mi original ASCII-8BIT codificada Cadenas y examinar la cadena que mi CSV lee como ASCII-8BIT, se ve así: "Non sp \ xE9cifi \ xE9" en lugar de "Non spécifié".

no puedo convertir "\ xE9cifi \ xE9 no sp" a "no spécifié" al hacer esto "Non sp\xE9cifi\xE9".encode("UTF-8")

porque me sale este error:

Encoding::UndefinedConversionError: "\xE9" from ASCII-8BIT to UTF-8,

el cual indicó Katz ocurriría porque ASCII-8BIT no es realmente una "codificación" de cadenas adecuada.

Preguntas:

1. ¿Puedo conseguir CSV para leer mi archivo en la codificación adecuada? ¿Si es así, cómo?
2. ¿Cómo convierto una cadena ASCII-8BIT a UTF-8 para un almacenamiento correcto en MySQL?

Answer 1

deceze es correcto, es decir ISO8859-1 (También conocido como Latin-1) texto codificado. Prueba esto:

file_contents = CSV.read("csvfile.csv", col_sep: "$", encoding: "ISO8859-1") 

Y si eso no funciona, puede utilizar Iconv para arreglar las cuerdas individuales con algo como esto:

require 'iconv' 
utf8_string = Iconv.iconv('utf-8', 'iso8859-1', latin1_string).first 

Si latin1_string es "Non sp\xE9cifi\xE9", entonces habrá utf8_string"Non spécifié" .Además, Iconv.iconv puede unmangle matrices enteras a la vez:

utf8_strings = Iconv.iconv('utf-8', 'iso8859-1', *latin1_strings) 

Con los nuevos rubíes, se pueden hacer cosas como esta:

utf8_string = latin1_string.force_encoding('iso-8859-1').encode('utf-8') 

donde latin1_string piensa que está en ASCII-8BIT pero es realmente en la norma ISO -8859-1.

Answer 2

He estado lidiando con este problema por un tiempo y ninguna de las otras soluciones funcionó para mí.

Lo que hizo el truco consistía en almacenar la conflictiva cadena en un archivo binario, a continuación, leer el archivo normalmente y usar este cadena para alimentar el módulo CSV:

tempfile = Tempfile.new("conflictive_string") 
tempfile.binmode 
tempfile.write(conflictive_string) 
tempfile.close 
cleaned_string = File.read(tempfile.path) 
File.delete(tempfile.path) 
csv = CSV.new(cleaned_string) 

Answer 3

Con ruby> = 1.9 puede utilizar

file_contents = CSV.read("csvfile.csv", col_sep: "$", encoding: "ISO8859-1:utf-8") 

El ISO8859-1:utf-8 un significado: El archivo CSV se ISO8859-1 - codificada, pero conve ta el contenido a UTF-8

Si prefiere un código más detallado, puede utilizar:

file_contents = CSV.read("csvfile.csv", col_sep: "$", 
    external_encoding: "ISO8859-1", 
    internal_encoding: "utf-8" 
)