Cómo convertir \ uXXXX Unicode UTF-8 utilizando herramientas de la consola en * nix

Question

Yo uso curl para obtener algún tipo de respuesta URL, que es la respuesta JSON y que contiene caracteres Unicode-nacionales escapado como \u0144 (ń) y \u00f3 (ó).

¿Cómo puedo convertirlos a UTF-8 o cualquier otra codificación para guardar en el archivo?

Answer 1

No sé qué distribución está utilizando, pero debe incluirse uni2ascii.

$ sudo apt-get install uni2ascii 

Sólo depende de libc6, por lo que es una solución ligera (i386 uni2ascii 4,18-2 es 55,0 kB) en Ubuntu!

después utilizarla:

$ echo 'Character 1: \u0144, Character 2: \u00f3' | ascii2uni -a U -q 
Character 1: ń, Character 2: ó 

Answer 2

podría ser un poco feo, pero echo -e debería hacerlo:

echo -en "$(curl $URL)" 

-e interpreta escapes, -n suprime la nueva línea echo normalmente agregar.

Nota: El escape \u funciona en el bash incorporado echo, pero no /usr/bin/echo.

Como se señaló en los comentarios, esto es bash 4.2+ y 4.2.x tienen un error al manejar 0x00ff/17 valores (0x80-0xff).

Answer 3

Suponiendo que el \u siempre es seguido por exactamente 4 dígitos hexadecimales:

#!/usr/bin/perl 

use strict; 
use warnings; 

binmode(STDOUT, ':utf8'); 

while (<>) { 
    s/\\u([0-9a-fA-F]{4})/chr(hex($1))/eg; 
    print; 
} 

El binmode pone la salida estándar en modo UTF-8. El comando s... reemplaza cada aparición de \u seguido de 4 dígitos hexadecimales con el carácter correspondiente. El sufijo e hace que el reemplazo se evalúe como una expresión en lugar de tratarse como una cadena; el g dice que se reemplacen todas las ocurrencias en lugar de solo la primera.

Puede guardar lo anterior en un archivo en algún lugar de su $PATH (no olvide el chmod +x). Filtra la entrada estándar (o uno o más archivos nombrados en la línea de comando) a la salida estándar.

Answer 4

No confíe en las expresiones regulares: JSON tiene algunos casos de esquina extraños con \u escapes y puntos de código que no son BMP. (específicamente, JSON codificará un punto de código usando dos\u escapes) Si supone que 1 secuencia de escape se traduce en 1 punto de código, está condenado a dicho texto.

El uso de un analizador completo JSON desde el idioma de su elección es considerablemente más robusto:

$ echo '["foo bar \u0144\n"]' | python -c 'import json, sys; sys.stdout.write(json.load(sys.stdin)[0].encode("utf-8"))' 

Eso es realmente sólo la alimentación de los datos de este breve script en Python:

import json 
import sys 

data = json.load(sys.stdin) 
data = data[0] # change this to find your string in the JSON 
sys.stdout.write(data.encode('utf-8')) 

desde donde se puede guardar como foo.py y llamar como curl ... | foo.py

Un ejemplo que romperá la mayoría de los otros intentos en esta pregunta es "\ud83d\udca3":

% printf '"\\ud83d\\udca3"' | python2 -c 'import json, sys; sys.stdout.write(json.load(sys.stdin)[0].encode("utf-8"))'; echo 

# echo will result in corrupt output: 
% echo -e $(printf '"\\ud83d\\udca3"') 
"������" 
# native2ascii won't even try (this is correct for its intended use case, however, just not ours): 
% printf '"\\ud83d\\udca3"' | native2ascii -encoding utf-8 -reverse 
"\ud83d\udca3" 

Answer 5

encontré native2ascii de JDK como la mejor manera de hacerlo:

native2ascii -encoding UTF-8 -reverse src.txt dest.txt 

descripción detallada está aquí: http://docs.oracle.com/javase/1.5.0/docs/tooldocs/windows/native2ascii.html

Actualización: Ya no está disponible desde JDK9: https://bugs.openjdk.java.net/browse/JDK-8074431

Answer 6

uso /usr/bin/printf "\u0160ini\u010di Ho\u0161i - A\u017e sa skon\u010d\u00ed zima" para obtener la conversión adecuada de unicode a utf8.

Answer 7

funciona en Windows, deben trabajar en * nix también. Utiliza Python 2.

#!/usr/bin/env python 
from __future__ import unicode_literals 
import sys 
import json 
import codecs 

def unescape_json(fname_in, fname_out): 
    with file(fname_in, 'rb') as fin: 
     js = json.load(fin) 
    with codecs.open(fname_out, 'wb', 'utf-8') as fout: 
     json.dump(js, fout, ensure_ascii=False) 

def usage(): 
    print "Converts all \\uXXXX codes in json into utf-8" 
    print "Usage: .py infile outfile" 
    sys.exit(1) 

def main(): 
    try: 
     fname_in, fname_out = sys.argv[1:] 
    except Exception: 
     usage() 

    unescape_json(fname_in, fname_out) 
    print "Done." 

if __name__ == '__main__': 
    main()