Cómo paralelizar la lectura y escritura de archivos

Question

Tengo un programa que lee datos de 2 archivos de texto y luego guarda el resultado en otro archivo. Dado que hay muchos datos para leer y escribir que causan un golpe de rendimiento, quiero paralizar las operaciones de lectura y escritura.

Mi idea inicial es usar 2 hilos como ejemplo, un hilo de lectura/escritura desde el principio y otro hilo de lectura/escritura desde la mitad del archivo. Como mis archivos están formateados como líneas, no como bytes (cada línea puede tener diferentes bytes de datos), buscar por byte no me funciona. Y la solución en la que podría pensar es use getline() para omitir las líneas anteriores primero, lo que podría no ser eficiente.

¿Hay alguna manera de buscar una línea específica en un archivo? o ¿tiene alguna otra idea para paralizar la lectura y escritura de archivos?

Medio Ambiente: Win32, C++, NTFS, solo disco duro

Gracias.

-Dbger

Answer 1

En términos generales, usted no quiere poner en paralelo/S de disco. A los discos duros no les gusta la E/S aleatoria porque tienen que buscar continuamente para llegar a los datos. Suponiendo que no está utilizando RAID, y está utilizando discos duros en lugar de memoria de estado sólido, verá una degradación grave del rendimiento si paraleliza la E/S (incluso cuando se utilizan tecnologías como esas, aún se puede ver algún rendimiento). degradación al hacer muchas E/S aleatorias).

Para responder a su segunda pregunta, realmente no hay una buena manera de buscar cierta línea en un archivo; solo puede buscar explícitamente un desplazamiento de bytes utilizando la función read (consulte this page para obtener más detalles sobre cómo usarlo.

Answer 2

Esto no es realmente una respuesta a su pregunta, sino un rediseño (que todos odiamos) pero no puedo evitar hacerlo). Como ya se mencionó, tratar de acelerar las E/S en un disco duro con múltiples hilos probablemente no ayude.

Sin embargo, podría ser posible usar otro enfoque dependiendo de la sensibilidad de los datos , necesidades de rendimiento, tamaño de datos, etc. No sería difícil crear una estructura en la memoria que mantenga una imagen de los datos y permita actualizaciones fáciles/rápidas de las líneas de texto en cualquier lugar de los datos. Luego, podría usar un hilo dedicado que simplemente monitorea esa estructura y cuyo trabajo es escribir los datos en el disco. Escribir datos secuencialmente en el disco puede ser extremadamente rápido; puede ser mucho más rápido que buscar secciones diferentes al azar y escribirlas en pedazos.

Answer 3

Poner en cola varias lecturas y escrituras no ayudará cuando se ejecuta en un disco. Si su aplicación también realizó un montón de trabajo en la CPU, entonces podría hacer sus lecturas y escrituras asincrónicamente y dejar que la CPU trabaje mientras la E/S del disco ocurre en segundo plano. Alternativamente, obtenga un segundo disco duro físico: lea de uno, escriba en el otro. Para conjuntos de datos de tamaño modesto que a menudo es efectivo y bastante más económico que escribir código.