¿Es posible que lxml funcione de manera que no distinga entre mayúsculas y minúsculas?

Question

Estoy tratando de raspar META palabras clave y etiquetas de descripción de sitios web arbitrarios. Obviamente no tengo control sobre dicho sitio web, así que tengo que tomar lo que me dan. Tienen una variedad de envolturas para la etiqueta y los atributos, lo que significa que necesito trabajar sin tener en cuenta las mayúsculas y minúsculas. No puedo creer que los autores de lxml sean tan tercos como para insistir en el cumplimiento total de las normas obligatorias cuando excluye gran parte del uso de su biblioteca.

Me gustaría poder decir doc.cssselect('meta[name=description]') (o algún equivalente XPath), pero esto no cogerá <meta name="Description" Content="..."> etiquetas debido othe captial D.

Actualmente estoy usando esto como una solución, pero es horrible!

for meta in doc.cssselect('meta'): 
    name = meta.get('name') 
    content = meta.get('content') 

    if name and content: 
     if name.lower() == 'keywords': 
      keywords = content 
     if name.lower() == 'description': 
      description = content 

Parece ser que el nombre de la etiqueta meta se trata mayúsculas y minúsculas, pero los atributos no lo son. ¡Sería incluso más molesto que meta fuera sensible a mayúsculas y minúsculas también!

Answer 1

valores de los atributos deben entre mayúsculas y minúsculas.

Puede utilizar expresiones regulares arbitrarias para seleccionar un elemento:

#!/usr/bin/env python 
from lxml import html 

doc = html.fromstring(''' 
    <meta name="Description"> 
    <meta name="description"> 
    <META name="description"> 
    <meta NAME="description"> 
''') 
for meta in doc.xpath('//meta[re:test(@name, "^description$", "i")]', 
         namespaces={"re": "http://exslt.org/regular-expressions"}): 
    print html.tostring(meta, pretty_print=True), 

Salida:

<meta name="Description"> 
<meta name="description"> 
<meta name="description"> 
<meta name="description"> 

Answer 2

lxml es un analizador XML. XML distingue entre mayúsculas y minúsculas. Está analizando HTML, por lo que debe usar un analizador HTML. BeautifulSoup es muy popular. Su único inconveniente es que puede ser lento.

Answer 3

Puede utilizar

doc.cssselect.xpath("//meta[translate(@name, 
    'ABCDEFGHJIKLMNOPQRSTUVWXYZ', 'abcdefghjiklmnopqrstuvwxyz')='description']") 

Se traduce el valor de "nombre" a minúsculas y luego coincide.

Consulte también:

• XPath: How do you do a lowercase call in xpath
• Xpath translation function turns things into lowercase?