Supongamos que descargué el código HTML y puedo analizarlo. ¿Cómo obtengo la "mejor" descripción de ese sitio web, si ese sitio web no tiene una etiqueta de meta-descripción?¿Cuál es la mejor manera de obtener una descripción del sitio web, en Python?
Para realizar un seguimiento de la sugerencia de "Legibilidad" anterior (que a su vez está inspirada en el sitio InstaPaper), tienen el lanzamiento del JavaScript: http://code.google.com/p/arc90labs-readability/. Es más, un tipo lo tomó y lo portó a Python: http://github.com/gfxmonk/python-readability. ¡Alegrarse!
Puede obtener las primeras frases devueltas de algo como Readability.
Safari 5 utiliza, por lo que debe estar bien :)
Es muy difícil llegar a una regla que funciona al 100% del tiempo, obviamente, pero mi sugerencia como punto de partida sería la de buscar para la primera etiqueta <h1> (o <h2>, <h3>, etc., la más alta que pueda encontrar) luego el bit de texto después de que se puede usar como descripción. Siempre que el sitio esté semánticamente marcado, eso debería darle una buena descripción (supongo que también podría tomar el contenido del <h1> mismo, pero eso es más como el "título").
Es interesante observar que Google (por ejemplo) utiliza un extracto de palabras clave específico de los contenidos de la página para mostrar como la descripción, en lugar de una descripción estática. Sin embargo, no estoy seguro si eso funcionará para su situación.
+1 por legibilidad. Herramienta ordenada. –
+1 por legibilidad :) – Kit