implementación Python de avro lento?

Question

Estoy leyendo algunos datos del archivo avro usando la biblioteca avro. Lleva aproximadamente un minuto cargar 33K objetos del archivo. Esto me parece muy lento, especialmente con la versión de Java leyendo el mismo archivo en aproximadamente 1 segundo.

Aquí está el código, ¿estoy haciendo algo mal?

import avro.datafile 
import avro.io 
from time import time 

def load(filename): 
    fo = open(filename, "rb") 
    reader = avro.datafile.DataFileReader(fo, avro.io.DatumReader()) 
    for i, record in enumerate(reader): 
     pass 

    return i + 1 

def main(argv=None): 
    import sys 
    from argparse import ArgumentParser 

    argv = argv or sys.argv 

    parser = ArgumentParser(description="Read avro file") 


    start = time() 
    num_records = load("events.avro") 
    end = time() 

    print("{0} records in {1} seconds".format(num_records, end - start)) 

if __name__ == "__main__": 
    main() 

Answer 1

El avro Python package disponibles en PyPI es Python puro, por lo que no me sorprende si es más lento que Java en un orden de magniture o más.

Hay una implementación de Avro C, pero que yo sepa, nadie ha creado aún una extensión de Python basada en ella.

Answer 2

Parece que hay un paquete de Python llamado fastavro que es una implementación rápida de Cython, pero tiene menos funciones completas.

https://bitbucket.org/tebeka/fastavro