Bulkloader CSV error de tamaño

Question

Bulkloader plantea el siguiente error al importar un archivo CSV con células grandes:

[ERROR ] Error in data source thread: field larger than field limit (131072) 

Este es un problema común para el módulo csv, que se puede fijar con:

csv.field_size_limit(sys.maxint) 

¿Cómo puedo hacer que el bulkloader ejecute esto?

Answer 1

Prueba esto:

En bulkloader.yaml complemento:

python_preamble: 
- import: csv_fix 
... # the rest of your imports 

En csv_fix.py complemento:

import csv, sys 
csv.field_size_limit(sys.maxint)