¿Cuál es una manera breve buena y confiable de obtener el juego de caracteres de una página web?

Question

Estoy un poco sorprendido de que sea tan complicado obtener un juego de caracteres de una página web con Python. ¿Me estoy perdiendo una manera? HTTPMessage tiene muchas funciones, pero no esto.

>>> google = urllib2.urlopen('http://www.google.com/') 
>>> google.headers.gettype() 
'text/html' 
>>> google.headers.getencoding() 
'7bit' 
>>> google.headers.getcharset() 
Traceback (most recent call last): 
    File "<stdin>", line 1, in <module> 
AttributeError: HTTPMessage instance has no attribute 'getcharset' 

Así que tienes que obtener el encabezado y dividirlo. Dos veces.

>>> google = urllib2.urlopen('http://www.google.com/') 
>>> charset = 'ISO-8859-1' 
>>> contenttype = google.headers.getheader('Content-Type', '') 
>>> if ';' in contenttype: 
...  charset = contenttype.split(';')[1].split('=')[1] 
>>> charset 
'ISO-8859-1' 

Esa es una cantidad sorprendente de pasos para una función tan básica. ¿Me estoy perdiendo de algo?

Answer 1

¿Has marcado esto?

How to download any(!) webpage with correct charset in python?

Answer 2

Usted no está perdiendo nada. Está haciendo lo correcto: la codificación de una respuesta HTTP es una subparte de Content-Type.

Tenga en cuenta también que algunas páginas pueden enviar solo Content-Type: text/html y luego establecer la codificación a través de <meta http-equiv="Content-Type" content="text/html; charset=utf-8"> - eso es un hack feo (por parte del autor de la página) y no es demasiado común.

Answer 3

Me gustaría ir con chardet Universal Encoding Detector.

>>> import urllib 
>>> urlread = lambda url: urllib.urlopen(url).read() 
>>> import chardet 
>>> chardet.detect(urlread("http://google.cn/")) 
{'encoding': 'GB2312', 'confidence': 0.99} 

que está haciendo bien, pero su enfoque podría fallar por páginas en las que se declara conjunto de caracteres en meta etiqueta o no se declara en absoluto.
Si miras más de cerca las fuentes de Chardet, tiene un módulo charsetprober/charsetgroupprober que trata muy bien este problema.

Answer 4

hice algunas investigaciones y se acercó con esta solución:

response = urllib.request.urlopen(url) 
encoding = response.headers.get_content_charset() 

Ésta es la forma en que lo haría en Python 3. No he probado en Python 2 pero estoy adivinando que tendría para usar urllib2.request en lugar de urllib.request.

Así es como funciona, ya que la documentación oficial de Python no lo explica muy bien: el resultado de urlopen es un objeto http.client.HTTPResponse. La propiedad headers de este objeto es un objeto http.client.HTTPMessage que, según la documentación, "se implementa utilizando la clase email.message.Message", que tiene un método llamado get_content_charset, que intenta determinar y devolver el juego de caracteres de la respuesta.

Por defecto, este método devuelve None si no es capaz de determinar el conjunto de caracteres, pero se puede anular este comportamiento no por pasar un parámetro failobj:

encoding = response.headers.get_content_charset(failobj="utf-8")