HTML analizando con BeautifulSoup 4 y Python

Question

Estoy tratando de analizar la lista de resultados de http://mobile.de.

Primero lo probé con la clase HTMLParser, pero me salió un error: HTMLParser.HTMLParseError: EOF in middle of construct.

Así que lo probé con BeautifulSoup 4, que es mejor para sitios web no válidos, pero el <div> que estoy buscando no es accesible, y no puedo decir si es mi culpa o la del sitio web.

from bs4 import BeautifulSoup 
    import urllib 
    import socket 

    searchurl = "http://suchen.mobile.de/auto/search.html?scopeId=C&isSearchRequest=true&sortOption.sortBy=price.consumerGrossEuro" 
    f = urllib.urlopen(searchurl) 
    html = f.read() 
    soup = BeautifulSoup(html) 

    for link in soup.find_all("div","listEntry "): 
     print link 

listEntry es el <div> con el resultado de los coches. Pero parece que no está analizando <form id="parkAndCompareVehicle" name="parkAndCompareVehicle" action="">. No puedo encontrar la forma en el soupobject.

¿Dónde está la falla?

Answer 1

Debería ser algo como:

for link in soup.findAll('div', {'class': 'listEntry '}): 
    print link 

Los atributos se especifican en un diccionario - findAll(self, name=None, attrs={}, recursive=True, text=None, limit=None, **kwargs)

==========

UPD. Lo siento, parece que en bs4 puedes hacer eso también.

En cuanto a la falla, el formulario que está buscando no está en los resultados porque encierra listEntries tanto como puedo ver.

Qué hay de malo en que:

form = soup.find('form', id='parkAndCompareVehicle') 
print len(form.find_all('div', 'listEntry '))