Estamos teniendo un número significativo de problemas al crear una función de carga masiva para nuestra pequeña aplicación. Estamos utilizando la gema FasterCSV para cargar datos en una base de datos MySQL, pero Faster CSV es tan agitado y preciso en sus requisitos que constantemente se rompe con errores CSV mal formados y errores de tiempo de espera.¿Cómo preprocesar datos CSV para FasterCSV?
Los archivos csv generalmente se crean cuando los usuarios pegan texto de sus sitios web o de documentos de Microsoft Word, por lo que no es razonable esperar que nunca haya caracteres extraños como comillas o acentos inteligentes en los datos. Además, los usuarios no podrán identificar fácilmente si sus datos son lo suficientemente perfectos para FasterCSV o no. Necesitamos encontrar una manera de arreglarlo automáticamente.
¿Existe una buena manera o una herramienta confiable para preprocesar datos CSV para corregir cualquier nits en los datos antes de que la gema FasterCSV la procese?
Realmente depende. ¿Qué tipo de errores te encuentras? –
Sobre todo citas inteligentes de Word y caracteres de acento ocasionales o caracteres especiales de Word o HTML. A veces una bala perdida. Solo las cosas normales que obtienes cuando pegas varios párrafos de texto en una celda de Excel. –