Validación de AVRO

Question

Soy bastante nuevo en AVRO, por favor disculpe si me falta algo obvio. ¿Existe una utilidad de validador/línea de comandos AVRO que valide la entrada en un esquema AVRO? O probablemente apunta a dónde está el error en la entrada json.

Answer 1

No es que yo sepa. Escribí este pequeño script de python que le dirá si un archivo json coincide con un esquema, pero no le dirá donde es el error si hay alguno.

Depende del Python avro library.

#!/usr/bin/env python 

from avro.io import validate 
from avro.schema import parse 
from json import loads 
from sys import argv 

def main(argv): 
    valid = set() 
    invalid_avro = set() 
    invalid_json = set() 

    if len(argv) < 3: 
     print "Give me an avro schema file and a whitespace-separated list of json files to validate against it." 
    else: 
     schema = parse(open(argv[1]).read()) 
     for arg in argv[2:]: 
      try: 
       json = loads(open(arg, 'r').read()) 
       if validate(schema, json): 
        valid.add(arg) 
       else: 
        invalid_avro.add(arg) 
      except ValueError: 
       invalid_json.add(arg) 
    print ' Valid files:\n\t' + '\n\t'.join(valid) 
    print 'Invalid avro:\n\t' + '\n\t'.join(invalid_avro) 
    print 'Invalid json:\n\t' + '\n\t'.join(invalid_json) 

if '__main__' == __name__: 
    main(argv) 

Answer 2

No estoy seguro de que su pregunta tiene sentido: desde Avro esquema es obligatorio cuando el tratamiento de datos Avro, siempre es básicamente validado por defecto. Dicho de otra manera, el acto de analizar Avro necesariamente lo validará.

Desafortunadamente, dado que hay muy pocos metadatos en los datos de Avro, todos los cambios incompatibles serán esencialmente datos corruptos; y es muy posible que solo consigas basura. Esto porque no hay identificadores de campo o separadores: todos los datos se interpretan en función de lo que Schema dice que debe seguir. Esta falta de redundancia hace que los datos sean muy compactos, pero también significa que incluso la corrupción de datos más pequeña puede hacer que todo el flujo de datos sea inútil.

Answer 3

Hice un validador de Avro para JavaScript que se puede ejecutar en JSON. Todavía no es parte de una versión de Avro, pero debería estar comprometida pronto. Puede encontrar el parche al https://issues.apache.org/jira/browse/AVRO-485.