Algoritmo rápido de plataforma cruzada para leer/escribir archivo en C++

Question

Quiero plantear una pregunta aparentemente simple que no puedo encontrar la respuesta en ninguna parte. ¿Existe un FAST algoritmo moderno para la entrada y/o salida de archivos que se puede compilar con todos los compiladores estándar compatibles con C++ y funciona para todos los sistemas operativos sin la necesidad de bibliotecas externas?

1. he encontrado que la manera más rápida es utilizar archivos de memoria asignada, pero eso no lo haré porque nosotros queremos la misma pieza de código que funciona en todas las plataformas
2. no podemos utilizar las API de Win32 API como causa que hará que la plataforma es específica
3. no quiero utilizar c, quiero que el algoritmo sea sólo puro código C++ con STL, si es posible, no un feo C con asm entremezclada truco/truco
4. marcos o externo las bibliotecas que no pertenecen a standart C++ no deben usarse como wxWidgets, Qt, MFC, etc.
5. The big empasis de toda esta cuestión es que el algoritmo es el RÁPIDO como sea posible, algo a lo largo de las líneas de la velocidad de hacerlo con los archivos de memoria asignada, incluso más rápido sería grande, pero sé que no es posible

¿Alguna vez has visto algo tan loco investigado por alguien más excepto yo? ¿Es posible tal algoritmo?

Gracias por las recomendaciones

Answer 1

con las siguientes restricciones:

pueden ser compilados con todos los compiladores de C++ estándar compatibles y obras para todos los sistemas operativos sin necesidad de bibliotecas externas?

Se ha limitado prácticamente a las funciones IO del archivo de biblioteca estándar. Posiblemente funciones POSIX (dependiendo del subconjunto de "todos los compiladores estándar C++ compatibles" que esté considerando).

Si no son lo suficientemente rápidos para usted, tendrá que empezar a soltar algunas restricciones.

Answer 2

Esto no tiene nada que ver con un "algoritmo".

Cuando se trata de escribir datos en un archivo, está a merced del sistema operativo: los archivos mapeados en memoria son "rápidos" porque solo está escribiendo en la memoria y el sistema operativo lo vuelve a sincronizar su propio tiempo. Si el sistema operativo no lo admite, no tiene suerte en ese sentido, a menos que desee implementar su propia capa de asignación de memoria.

Por cierto, POSIX tiene mmap, por lo que si se limita a los sistemas que cumplen con POSIX, está bien.

Answer 3

Algunos puntos:

• Esto no tiene nada que ver con algoritmos.
• Querer apuntar TODOS los sistemas operativos no es un objetivo muy productivo (y es imposible
• su código no funciona en una plataforma en particular hasta que lo haya probado). En cambio, me centraría en algunos sistemas operativos que son factibles, como POSIX + Win32.
• En ese caso, puede hacer una asignación de memoria, por ejemplo, implementando mmap() para Windows (encima de MapViewOfFile() etc. - el código fuente de git tiene una implementación de mmap para Windows si necesita inspiración)
• Si no puede usar la asignación de memoria, recomendaría usar la api de archivo C normal en lugar de las secuencias de archivos de C++ si el rendimiento es un gran problema. Aunque las transmisiones de C++ tienen el potencial de un mayor rendimiento para algunas operaciones, en la práctica es bastante más lento.
• Pero, para obtener un buen rendimiento, a menudo puede ser "lo suficientemente bueno" solo para asegurarse de que está tratando sus datos de una manera sensata. Lea los datos secuencialmente, no vuelva a leer, etc. Perfecto es el enemigo del bien;)

Answer 4

Los otros carteles son correctos en cuanto a que el rendimiento siempre está en desacuerdo con la genericidad (multiplataforma).

Sin embargo, en general, obtendrá los mejores resultados "almacenando en búfer" su entrada, utilizando fread() para leer en trozos relativamente grandes de datos y procesarlos.

Sé que es una respuesta bastante básica y general, pero eso es lo más específico que puede obtener sin ser más específico de la plataforma, o saber más sobre la entrada específica que está procesando.

Answer 5

La lectura secuencial en bloques que son múltiplos (o potencias de 2) del tamaño del bloque del sistema de archivos puede ayudar. Luego separa tus datos una vez que el bloque está en la memoria. Hay un libro blanco en algún lugar donde probaron el rendimiento para varios tamaños de bloques. Ojalá pudiera encontrarlo de nuevo.

También podría intentar tener un hilo dedicado para leer bloques del archivo, y otro que haga las manipulaciones de datos en la memoria (con las sincronizaciones adecuadas, por supuesto). Esto le permite usar la CPU para procesar datos mientras bloquea sus llamadas de lectura de archivos.

De todos modos, si le das una oportunidad a estas ideas, avísanos si notas una diferencia. Los resultados reales de sus pruebas de referencia serían interesantes.

Answer 6

Fast IO se reduce generalmente a dos cosas:

1. Minimizar los datos de la copia de
2. Minimizar contexto del núcleo/cambio de usuario

La mayoría de todas las técnicas de IO intentan abordar uno o el otro. El código multiplataforma más rápido para IO que conozco es el sistema Perl IO. Sugeriría echar un vistazo a the source. Los hackers de Perl han pasado décadas recibiendo su IO lo más rápido posible en tantas plataformas como sea posible.

Answer 7

Para poner otra perspectiva sobre "misericordia del sistema operativo", la mayoría de los gastos generales en la copia de archivos recae en el sistema operativo. Un archivo fragmentado tomará más tiempo para leer que un archivo desfragmentado. No hay funciones C++ genéricas o estándar para detectar archivos fragmentados.

El método más rápido en C++:

std::ifstream in_file; 
std::ofstream out_file; 

out_file << in_file.rdbuf(); 

se pueden encontrar más detalles mediante la búsqueda en la web con las palabras clave "copia de archivos rdbuf". El fragmento anterior deja la copia hasta el sistema operativo, pero es portátil en todas las plataformas. Al leer las secuencias de E/S de C++, puede establecer el tamaño del búfer de lectura o hacer que use su propio búfer.

La copia de archivos más rápida requiere una funcionalidad específica de la plataforma, como transferencias DMA. Usar subprocesos y múltiples búferes, podría acelerar esto; pero C++ no tiene soporte para hilos (hay un estándar de facto, POSIX, que admite subprocesos). Un hilo leerá en los búferes mientras otro hilo escribe desde los búferes.