¿Cómo se realiza una entrada de formato rápido desde una secuencia en C++?

Question

La situación es la siguiente: hay un archivo con 14 294 508 enteros sin signo y 13 994 397 números de coma flotante (es necesario leer double s). El tamaño total del archivo es ~ 250 MB.

El uso de std::istream lleva ~ 30sec. Leer los datos de un archivo a la memoria (solo copiar bytes, sin una entrada formateada) es mucho más rápido. ¿Hay alguna manera de mejorar la velocidad de lectura sin cambiar el formato de archivo?

Answer 1

¿Necesita usar el estilo de E/S de STL? Debe verificar this excelente trabajo de uno de los expertos. Es un especializado iostream por Dietmar Kuhl.

Odio sugerir esto, pero eche un vistazo a las rutinas de E/S en formato C. Además, ¿estás leyendo todo el archivo de una vez?

Answer 2

También puede ser que desee ver en la biblioteca FastFormat de Matthew Wilson:

• http://www.fastformat.org/

no he usado, pero que hace algunas afirmaciones bastante impresionantes y he encontrado un montón de su otro trabajo que vale la pena estudiar y usar (y robar en ocasiones).

Answer 3

No ha especificado el formato. Es posible que pueda mapear la memoria, o leer en grandes fragmentos y procesar en un algoritmo por lotes.

Además, no ha dicho si está seguro de que el archivo y el proceso que lo leerán estarán en la misma plataforma. Si un proceso big-endian lo escribe y un proceso little-endian lo lee, o viceversa, no funcionará.

Answer 4

La entrada de análisis solo (atoi & atof), generalmente aumenta la velocidad al menos dos veces, en comparación con los métodos de lectura "universal".

Answer 5

algo rápido y sucio es simplemente volcar el archivo en una cadena estándar de C++ y, a continuación, utilizar un stringstream en él:

#include <sstream> 
// Load file into string file_string 
std::stringstream s(file_string); 
int x; float y; 
s >> x >> y; 

Esto no le puede dar mucho de una mejora en el rendimiento (que se obtiene una mayor velocidad al evitar iostreams), pero es muy fácil de probar, y puede ser lo suficientemente rápido.