Método sin bloqueo para analizar XML en python

Question

Tengo un documento XML que entra por un socket que necesito analizar y reaccionar sobre la marcha (es decir, analizar un árbol parcial). Lo que me gustaría es un método de no bloqueo para hacerlo, de modo que pueda hacer otras cosas mientras espero que entren más datos (sin enhebrar).

Algo así como iterparse sería ideal si se terminó la iteración cuando el búfer de lectura estaba vacío, por ejemplo:

context = iterparse(imaginary_socket_file_wrapper) 
while 1: 
    for event, elem in context: 
     process_elem(elem) 
    # iteration of context finishes when socket has no more data 
    do_other_stuff() 
    time.sleep(0.1) 

supongo SAX también sería una opción, pero iterparse sólo parece más sencillo para mis necesidades. ¿Algunas ideas?

Actualización:

Uso de hilos está muy bien, pero introduce un nivel de complejidad que tenía la esperanza de eludir. Pensé que las llamadas no bloqueantes serían una buena forma de hacerlo, pero me parece que aumenta la complejidad de analizar el XML.

Answer 1

Bucear en la fuente iterparse proporcionó la solución para mí.He aquí un ejemplo sencillo de construir un árbol XML en los elementos de la mosca y el procesamiento después de que sus etiquetas de cierre:

import xml.etree.ElementTree as etree 

parser = etree.XMLTreeBuilder() 

def end_tag_event(tag): 
    node = self.parser._end(tag) 
    print node 

parser._parser.EndElementHandler = end_tag_event 

def data_received(data): 
    parser.feed(data) 

En mi caso terminé alimentándolo datos de torcido, pero debería funcionar con un zócalo de no bloqueo también .

Answer 2

Si no usará subprocesos, puede usar un bucle de evento y sondear sockets no bloqueantes.

asyncore es el módulo de biblioteca estándar para tales cosas. Twisted es la biblioteca asincrónica para Python, pero compleja y probablemente un poco pesada para sus necesidades.

Alternativamente, multiprocessing es la alternativa de subproceso sin hilo, pero supongo que no está ejecutando 2.6.

De una forma u otra, creo que vas a tener que usar subprocesos, procesos adicionales o tejer alguna magia asíncrona igualmente compleja.

Answer 3

Creo que hay dos componentes para esto, la E/S de red sin bloqueo y un analizador XML orientado a flujo.

Para el primero, debe elegir un marco de red no bloqueante o implementar su propia solución para esto. Twisted ciertamente funcionaría, pero personalmente encuentro que la inversión de los marcos de control es difícil de envolver mi cerebro. Es probable que tenga que hacer un seguimiento de un montón de estado en sus devoluciones de llamada para alimentar al analizador. Por esta razón, tiendo a encontrar Eventlet un poco más fácil de programar, y creo que encajaría bien en esta situación.

Esencialmente se le permite escribir el código como si que estaba usando una llamada socket de bloqueo (usando un bucle ordinario o un generador o lo que quiera), excepto que se puede generar en una co-rutina separada (un " greenlet ") que automáticamente realizará un rendimiento cooperativo cuando las operaciones de E/S se bloquearían, permitiendo así que se ejecuten otras corutinas.

Esto hace que el uso de cualquier analizador orientado a flujo sea trivial otra vez, porque el código está estructurado como una llamada de bloqueo normal. También significa que muchas bibliotecas que no tratan directamente con sockets u otras I/O (como el analizador sintáctico, por ejemplo) no tienen que modificarse especialmente para que no sean bloqueantes: si bloquean, Eventlet produce la corutina.

cierto Eventlet es ligeramente magia, pero me parece que tiene una curva de aprendizaje mucho más fácil que Twisted, y resulta en un código más sencillo, ya que no tiene que dar vuelta a su lógica de "adentro hacia afuera" para ajustarse al marco.