¿Es posible que BeautifulSoup funcione de manera que no distinga entre mayúsculas y minúsculas?

Question

Estoy intentando extraer Meta Description para las páginas web recuperadas. Pero aquí estoy enfrentando el problema de la sensibilidad de mayúsculas y minúsculas de BeautifulSoup.

Como algunas de las páginas tienen <meta name="Description y algunas tienen <meta name="description.

Mi problema es muy similar a la de Question on Stackoverflow

La única diferencia es que no puedo usar lxml .. tengo que seguir con BeautifulSoup.

Answer 1

Con pequeños cambios, funciona.

soup.findAll('meta', attrs={'name':re.compile("^description$", re.I)}) 

Answer 2

Puede asignar a BeautifulSoup una expresión regular para que coincida con los atributos. Algo como

soup.findAll('meta', name=re.compile("^description$", re.I)) 

podría hacer el truco. Cribbed desde the BeautifulSoup docs.

Answer 3

¿Expresión regular? Ahora tenemos another problem.

En cambio, puede pasar en una lambda:

soup.findAll(lambda tag: tag.name.lower()=='meta', 
    name=lambda x: x and x.lower()=='description') 

(x and evita una excepción cuando el atributo name no está definido para la etiqueta)

Answer 4

Con bs4 utilizar lo siguiente:

soup.find('meta', attrs={'name': lambda x: x and x.lower()=='description'})