Analizando la entrada Unicode usando python json.loads

Question

¿Cuál es la mejor manera de cargar cadenas JSON en Python?

Quiero usar json.loads para procesar Unicode como esto:

import json 
json.loads(unicode_string_to_load) 

También probé el suministro de 'Codificación' parámetro con el valor 'UTF-16', pero el error no desapareció.

SSCCE completa con el error:

# -*- coding: utf-8 -*- 
import json 
value = '{"foo" : "bar"}' 
print(json.loads(value)['foo'])  #This is correct, prints 'bar' 

some_unicode = unicode("degradé") 
#last character is latin e with acute "\xe3\xa9" 
value = '{"foo" : "' + some_unicode + '"}' 
print(json.loads(value)['foo'])   #incorrect, throws error 

error:

UnicodeDecodeError: 'ascii' codec can't decode byte 0xc3 in position 
6: ordinal not in range(128) 

Answer 1

Los aclara OP (en un comentario!) ...:

Source data is huge unicode encoded string

entonces usted tiene que saber que de las muchas codificaciones Unicode que utiliza - claramente no 'utf-16', ya que eso falló, b Pero hay muchos otros: 'utf-8', 'iso-8859-15', y así sucesivamente. Puedes probarlos todos hasta que uno funcione, o print repr(str_to_load[:80]) y pegar lo que se muestra como una edición de tu pregunta, ¡así podemos adivinar en tu nombre! -).

Answer 2

I typecasting la cadena en cadena Unicode utilizando 'latino-1' fijo el error:

UnicodeDecodeError: 'utf16' codec can't decode byte 0x38 in 
position 6: truncated data 

Código fijo:

import json 

ustr_to_load = unicode(str_to_load, 'latin-1') 

json.loads(ustr_to_load) 

Y a continuación, el error no se lanza.

Answer 3

Con django puede usar SimpleJSON y usar cargas en lugar de solo cargar.

from django.utils import simplejson 

simplejson.loads(str_to_load, "utf-8") 

Answer 4

La forma más sencilla que he encontrado es

import simplejson as json 

de esa manera su código sigue siendo la misma referencia

json.loads(str_to_load) 

: https://simplejson.readthedocs.org/en/latest/