Analizando tablas HTML con BeautifulSoup

Question

He usado BeautifulSoup en el pasado pero estoy en contra de algo nuevo; marcado de tabla HTML increíblemente genérico/mínimo ... Mi objetivo es tomar cada valor y su etiqueta (cada uno en su propia td) e imprimirlos ... Se pueden combinar, no me importa, solo quiero hacer Asegúrese de que cada etiqueta se aplique al valor correcto. Aquí es una tabla de ejemplo:

<tbody><tr> 
<td class="labels">Dawn:</td> 
<td class="site_data" style="text-align: left;">07:01</td> 
<td class="labels">Sunrise:</td> 
<td class="site_data" style="text-align: left;">07:26</td> 
<td class="labels">Moonrise:</td> 
<td class="site_data" style="text-align: left;">14:29</td> 
<td rowspan="3"><img src="images/moon.bmp" alt="Moon" width="64" align="left" border="0" height="64" style="margin: 0px 10px" /></td> 
</tr> 
<tr> 
<td class="labels">Dusk:</td> 
<td class="site_data" style="text-align: left;">18:27</td> 
<td class="labels">Sunset:&nbsp;</td> 
<td class="site_data" style="text-align: left;">18:02</td> 
<td class="labels">Moonset:</td> 
<td class="site_data" style="text-align: left;">01:55</td> 
</tr> 
<tr> 
<td class="labels">Daylight:</td> 
<td class="site_data" style="text-align: left;">11:26</td> 
<td class="labels">Day length:</td> 
<td class="site_data" style="text-align: left;">10:36</td> 
<td class="labels">Moon Phase:</td> 
<td class="site_data" style="text-align: left;">Waxing Gibbous</td> 
</tr> 
</tbody> 

Sé cómo agarrar estos valores ...

for td in soup.findAll('table')[0]: # theres more than one table on the page 
    print td.renderContents().strip() 

pero esto sólo me da ....

'Dawn:' 
'07:01' 
'Sunrise:' 
'07:26' 
'Moonrise:' 
'14:29' 
'<img src="images/moon.bmp" alt="Moon" width="64" align="left" border="0" height="64" style="margin: 0px 10px" />' 
'Dusk:' 
'18:27' 
'Sunset:&nbsp;' 
'18:02' 
'Moonset:' 
'01:55' 
'Daylight:' 
'11:26' 
'Day length:' 
'10:36' 
'Moon Phase:' 
'Waxing Gibbous' 

supongo que pude agarre esos valores de clase "etiquetas" y "datos del sitio", pero ¿cómo me aseguro de que las etiquetas y los datos estén agrupados correctamente?

Answer 1

No soy un experto BeautifulSoup, pero usted podría intentar algo como esto:

for label in soup.findAll('table')[0].findAll('td', attrs={'class' : 'labels'}): 
    data_sibs = label.findNextSiblings(attrs={'class' : 'site_data'}) 
    if len(data_sibs) > 0: 
    print label.renderContents().strip() + " " + data_sibs[0].renderContents().strip() 

Editar:

probado y produce lo siguiente:

Dawn: 07:01 
Sunrise: 07:26 
Moonrise: 14:29 

etc.. 

Answer 2

La siguiente debería ser más simple y más fácil de seguir:

import pprint 
from BeautifulSoup import BeautifulSoup 
soup = BeautifulSoup(docTxt) 
groupedData = [] 
for row in soup.findAll("tr"): 
    data = {} 
    allTDs = row.findAll("td") 
    for x in range(0, len(allTDs)-1, 2): 
     data[allTDs[x].renderContents().strip()] = allTDs[x+1].renderContents().strip() 
    groupedData.append(data) 

pprint.pprint(groupedData) 

salida:

[{'Dawn:': '07:01', 'Moonrise:': '14:29', 'Sunrise:': '07:26'}, 
{'Dusk:': '18:27', 'Moonset:': '01:55', 'Sunset: ': '18:02'}, 
{'Day length:': '10:36', 
    'Daylight:': '11:26', 
    'Moon Phase:': 'Waxing Gibbous'}]