pitón, lxml y XPath - html tabla de análisis sintáctico

Question

yo soy nuevo en LXML, bastante nuevo en Python y no pudo encontrar una solución a lo siguiente:

Tengo que importar unas cuantas mesas con 3 columnas y un indefinido número de filas que comienzan en la fila 3.

Cuando la segunda columna de cualquier fila está vacía, esta fila se descarta y se interrumpe el procesamiento de la tabla.

El siguiente código imprime bien los datos de la tabla (pero no soy capaz de reutilizar los datos después):

from lxml.html import parse 

def process_row(row): 
    for cell in row.xpath('./td'): 
     print cell.text_content() 
     yield cell.text_content() 

def process_table(table): 
    return [process_row(row) for row in table.xpath('./tr')] 

doc = parse(url).getroot() 
tbl = doc.xpath("/html//table[2]")[0] 
data = process_table(tbl) 

Esto sólo se imprime la primera columna :(

for i in data: 
    print i.next() 

solamente la siguiente importar la tercera fila, y no la siguiente

tbl = doc.xpath("//body/table[2]//tr[position()>2]")[0] 

Cualquiera conoce una solución elegante para obtener todos los datos de la fila 3 en tbl y copiarlo en una matriz para que pueda ser procesado en un módulo sin dependencia de lxml?

Gracias de antemano por su ayuda, Alex

Answer 1

Es necesario utilizar un bucle para acceder a los datos de la fila, así:

for row in data: 
    for col in row: 
     print col 

Llamando al lado() una vez como lo hizo sólo el accederá primer artículo, por lo que ves una columna.

Tenga en cuenta que debido a la naturaleza de los generadores, solo puede acceder a ellos una vez. Si cambió la llamada al process_row(row) en list(process_row(row)), el generador se convertiría a una lista que se puede reutilizar.

Actualización: Si necesita sólo la tercera fila y, tendrá que utilizar data[2:]

Answer 2

Este es un generador:

def process_row(row): 
    for cell in row.xpath('./td'): 
     print cell.text_content() 
     yield cell.text_content() 

Estás llamando como si se pensaba que devuelve una lista. No es así Hay contextos en los que se comporta como una lista:

print [r for r in process_row(row)] 

pero eso es sólo porque un generador y una lista tanto exponen la misma interfaz para for bucles. Se utiliza en un contexto en el que se evalúa sólo una vez, por ejemplo .:

return [process_row(row) for row in table.xpath('./tr')] 

sólo llama a una nueva instancia del generador una vez para cada nuevo valor de row, volviendo el primer resultado producido.

Ese es su primer problema. Su segunda es que usted está esperando:

tbl = doc.xpath("//body/table[2]//tr[position()>2]")[0] 

para darle la tercera y todas las filas posteriores, y sólo para la configuración de tbl a la tercera fila. Bueno, la llamada a xpathes devolviendo la tercera y todas las filas subsiguientes. Es el [0] al final que te está haciendo perder el pelo.