En Python, ¿cómo decodizo la codificación GZIP?

Question

He descargado una página web en mi script python. En la mayoría de los casos, esto funciona bien.

Sin embargo, este tenía un encabezado de respuesta: codificación GZIP, y cuando traté de imprimir el código fuente de esta página web, tenía todos los símbolos en mi masilla.

¿Cómo decodificar esto a texto normal?

Answer 1

Uso zlib para descomprimir contenido comprimido de la web.

import zlib 

... 
# f=urllib2.urlopen(url) 
decompressed_data=zlib.decompress(f.read(), 16+zlib.MAX_WBITS) 

Answer 2

Descomprime la secuencia de bytes utilizando el módulo gzip incorporado.

Si tiene algún problema, mostrar el código mínimo exacta que utilizó, el mensaje de error exacto y rastreo, junto con el resultado de print repr(your_byte_stream[:100])

Información

1. Para una explicación de la confusión gzip/zlib/deflate, lea la sección "Otros usos" de this Wikipedia article.

2. Puede ser más fácil usar el módulo zlib que el módulo gzip si tiene una cadena en lugar de un archivo. Por desgracia, la Python docs son incompletas/incorrecto:

""" zlib.decompress (cadena [, [wbits, bufsize]]) ... El valor absoluto de wbits es la base de dos logaritmo del tamaño de la buffer histórico (el "tamaño de ventana") utilizado al comprimir datos. Su valor absoluto debe estar entre 8 y 15 para las versiones más recientes de la biblioteca zlib, los valores más grandes dan como resultado una mejor compresión a expensas de un mayor uso de memoria. es 15. Cuando wbits es negativo, se suprime el encabezado gzip estándar; esta es una característica no documentada de la biblioteca zlib, utilizada para compatibilidad con el formato de archivo de compresión de descompresión. "" "

En primer lugar, 8 < = log2_window_size < = 15, con el significado dado anteriormente. Entonces, lo que debería ser un arg separado es kludged en la parte superior:

arg == log2_window_size significa que la cadena está en formato zlib (RFC 1950; lo que el HTTP 1.1 RFC 2616 confusamente llama "desinflar").

arg == -log2_window_size significa asumir cadena está en formato de desinflado (RFC 1951; lo que la gente que no leyeron el HTTP 1.1 RFC cuidadosamente llevan a la práctica)

arg == 16 + log_2_window_size significa asumir cadena está en formato gzip (RFC 1952). Para que pueda usar 31.

La información de arriba está documentada en el zlib C library manual ... Ctrl-F búsqueda windowBits.

Answer 3

utilizo algo así:

f = urllib2.urlopen(request) 
data = f.read() 
try: 
    from cStringIO import StringIO 
    from gzip import GzipFile 
    data2 = GzipFile('', 'r', 0, StringIO(data)).read() 
    data = data2 
except: 
    #print "decompress error %s" % err 
    pass 
return data 

Answer 4

para python3

probar este

import gzip 

    fetch = opener.open(request) # basically get a response object 
    data = gzip.decompress(fetch.read()) 
    data = str(data,'utf-8') 

Answer 5

Puede utilizar urllib3 para decodificar fácilmente gzip.

urllib3.response.decode_gzip(response.data) 

Answer 6

Similar a la respuesta de Shatu para python3, pero dispuestas de manera diferente:

import gzip 

s = Request("https://someplace.com", None, headers) 
r = urlopen(s, None, 180).read() 
try: r = gzip.decompress(r) 
except OSError: pass 
result = json_load(r.decode()) 

Este método permite envolver la gzip.decompress() en un try/except para capturar y pasar el OSError que da como resultado situaciones en las que puede obtener datos mixtos comprimidos y no comprimidos. Algunas cadenas pequeñas en realidad se hacen más grandes si están codificadas, por lo que los datos simples se envían en su lugar.