Truncamiento de HTML en Python

Question

¿Existe alguna herramienta de Python puro para tomar algo de HTML y truncarlo lo más cercano posible, pero asegúrese de que el fragmento resultante esté bien formado? Por ejemplo, teniendo en cuenta este código HTML:

<h1>This is a header</h1> 
<p>This is a paragraph</p> 

no produciría:

<h1>This is a hea 

pero:

<h1>This is a header</h1> 

o al menos:

<h1>This is a hea</h1> 

no puedo encuentra uno que funcione, aunque encontré uno que depende de pullparser, que es obsoleto y está muerto.

Answer 1

No creo que se necesita un analizador de pleno derecho - sólo tiene que tokenize la cadena de la entrada en uno de:

• texto
• etiqueta abierta
• etiqueta de cierre
• autocierre
etiqueta
• entidad de caracteres

una vez que tenga una corriente de fichas por el estilo, es fácil de usar una pila para realizar un seguimiento de lo que las etiquetas tienen que cerrar. De hecho, me encontré con este problema hace un tiempo y escribí una pequeña biblioteca para hacer esto:

https://github.com/eentzel/htmltruncate.py

Ha funcionado bien para mí, y maneja la mayor parte de los casos de esquina, así, como el marcado de forma arbitraria anidada, contando las entidades de caracteres como un solo carácter, devolviendo un error en marcado incorrecto, etc.

Producirá:

<h1>This is a hea</h1> 

en su ejemplo. Esto quizás podría cambiarse, pero es difícil en el caso general: ¿qué sucede si estás tratando de truncar a 10 caracteres, pero la etiqueta <h1> no está cerrada para otra, digamos, 300 caracteres?

Answer 2

Mi pensamiento inicial sería utilizar un analizador XML (tal vez python's sax parser), entonces probablemente cuente los caracteres de texto en cada elemento xml. Ignoraría el recuento de caracteres de las etiquetas para hacerlo más uniforme y más simple, pero cualquiera debería ser posible.

Answer 3

Recomiendo primero analizar por completo el HTML y truncar. Un gran analizador de HTML para Python es lxml. Después de analizar y truncar, puede imprimirlo nuevamente en formato HTML.

Answer 4

Mire HTML Tidy para limpiar/reformatear/reindentar HTML.

Answer 5

Si está utilizando DJANGO lib, puede simplemente:

from django.utils import text, html 

    class class_name(): 


     def trim_string(self, stringf, limit, offset = 0): 
      return stringf[offset:limit] 

     def trim_html_words(self, html, limit, offset = 0): 
      return text.truncate_html_words(html, limit) 


     def remove_html(self, htmls, tag, limit = 'all', offset = 0): 
      return html.strip_tags(htmls) 

De todas formas, aquí está el código de truncate_html_words de Django:

import re 

def truncate_html_words(s, num): 
    """ 
    Truncates html to a certain number of words (not counting tags and comments). 
    Closes opened tags if they were correctly closed in the given html. 
    """ 
    length = int(num) 
    if length <= 0: 
     return '' 
    html4_singlets = ('br', 'col', 'link', 'base', 'img', 'param', 'area', 'hr', 'input') 
    # Set up regular expressions 
    re_words = re.compile(r'&.*?;|<.*?>|([A-Za-z0-9][\w-]*)') 
    re_tag = re.compile(r'<(/)?([^ ]+?)(?: (/)| .*?)?>') 
    # Count non-HTML words and keep note of open tags 
    pos = 0 
    ellipsis_pos = 0 
    words = 0 
    open_tags = [] 
    while words <= length: 
     m = re_words.search(s, pos) 
     if not m: 
      # Checked through whole string 
      break 
     pos = m.end(0) 
     if m.group(1): 
      # It's an actual non-HTML word 
      words += 1 
      if words == length: 
       ellipsis_pos = pos 
      continue 
     # Check for tag 
     tag = re_tag.match(m.group(0)) 
     if not tag or ellipsis_pos: 
      # Don't worry about non tags or tags after our truncate point 
      continue 
     closing_tag, tagname, self_closing = tag.groups() 
     tagname = tagname.lower() # Element names are always case-insensitive 
     if self_closing or tagname in html4_singlets: 
      pass 
     elif closing_tag: 
      # Check for match in open tags list 
      try: 
       i = open_tags.index(tagname) 
      except ValueError: 
       pass 
      else: 
       # SGML: An end tag closes, back to the matching start tag, all unclosed intervening start tags with omitted end tags 
       open_tags = open_tags[i+1:] 
     else: 
      # Add it to the start of the open tags list 
      open_tags.insert(0, tagname) 
    if words <= length: 
     # Don't try to close tags if we don't need to truncate 
     return s 
    out = s[:ellipsis_pos] + ' ...' 
    # Close any tags still open 
    for tag in open_tags: 
     out += '</%s>' % tag 
    # Return string 
    return out 

Answer 6

Esto servirá su requirement.An fácil de usar analizador de HTML y corrector de mal marcado

http://www.crummy.com/software/BeautifulSoup/

Answer 7

Usted puede hacer esto en una línea con BeautifulSoup (suponiendo que desea truncar en un cierto número de caracteres fuente, no en un número de caracteres de contenido):

from BeautifulSoup import BeautifulSoup 

def truncate_html(html, length): 
    return unicode(BeautifulSoup(html[:length])) 

Answer 8

he encontrado la respuesta por slacy muy útil y lo votaría mejor si tuviera la reputación, sin embargo, había algo más que destacar. En mi entorno tenía instalado html5lib y BeautifulSoup4. BeautifulSoup usó el analizador html5lib y esto dio como resultado que mi fragmento html se envolviera en etiquetas html y body, que no es lo que yo quería.

>>> truncate_html("<p>sdfsdaf</p>", 4) 
u'<html><head></head><body><p>s</p></body></html>' 

Para resolver estos problemas me dijeron BeautifulSoup utilizar el analizador de Python:

from bs4 import BeautifulSoup 
def truncate_html(html, length): 
    return unicode(BeautifulSoup(html[:length], "html.parser")) 

>>> truncate_html("<p>sdfsdaf</p>", 4) 
u'<p>s</p>'