códigos HTML Entidad a texto

Question

¿Alguien sabe una manera fácil en Python para convertir una cadena con los códigos de entidades HTML (por ejemplo <&) a una cadena normal (por ejemplo, < &)?

cgi.escape() escapó cuerdas (mal), pero no hay unescape().

Answer 1

HTMLParser tiene la funcionalidad en la biblioteca estándar. Está, por desgracia, indocumentado:

(python2 Docs)

>>> import HTMLParser 
>>> h= HTMLParser.HTMLParser() 
>>> h.unescape('alpha < β') 
u'alpha < \u03b2' 

(Python 3 Docs)

>>> import html.parser 
>>> h = html.parser.HTMLParser() 
>>> h.unescape('alpha < β') 
'alpha < \u03b2' 

htmlentitydefs está documentada, pero se requiere hacer una gran parte del trabajo tú mismo.

Si solo necesita las entidades XML predefinidas (lt, gt, amp, quot, apos), puede usar minidom para analizarlas. Si solo necesita las entidades predefinidas y sin referencias de caracteres numéricos, incluso podría usar simplemente un reemplazo de cadena antiguo para la velocidad.

Answer 2

No hay nada incorporado en el archivo stdlib de Python para descomprimir HTML, pero hay un pequeño script que puede adaptar a sus necesidades al http://www.w3.org/QA/2008/04/unescape-html-entities-python .html.

Answer 3

Utilice el módulo htmlentitydefs. Este mi viejo código, funcionó, pero estoy seguro de que es mucho más limpio y más Pythonic hacerlo:

e2c = dict(('&%s;'%k,eval("u'\\u%04x'"%v)) for k, v in htmlentitydefs.name2codepoint.items()) 

Answer 4

que se olvidó de etiquetar al principio, pero lo estoy usando BeautifulSoup.

escarbar en la documentación, que encontré:

soup = BeautifulSoup(html, convertEntities=BeautifulSoup.HTML_ENTITIES) 

lo hace exactamente como yo esperaba.