¿cuál es el tamaño de búfer adecuado para la función 'escribir'?

Question

Estoy usando la función de escritura de I/O de bajo nivel para escribir algunos datos en el disco en mi código (lenguaje C en Linux). Primero, acumulo los datos en un buffer de memoria, y luego uso 'write' para escribir los datos en el disco cuando el buffer está lleno. Entonces, ¿cuál es el mejor tamaño de buffer para 'escribir'? Según mis pruebas, no es tanto más grande cuanto más rápido, así que estoy aquí para buscar la respuesta.

Answer 1

Probablemente haya alguna ventaja al hacer escrituras que son múltiplos del tamaño del bloque del sistema de archivos, especialmente si está actualizando un archivo en su lugar. Si escribe menos de un bloque parcial en un archivo, el sistema operativo debe leer el bloque antiguo, combinarlo en los nuevos contenidos y luego escribirlo. Esto no ocurre necesariamente si escribe rápidamente piezas pequeñas en secuencia porque las actualizaciones se realizarán en memorias intermedias en la memoria que se enjuagarán más tarde. Aún así, de vez en cuando podría estar desencadenando alguna ineficacia si no está llenando un bloque (y uno correctamente alineado: múltiples del tamaño del bloque en un desplazamiento que es un múltiplo del tamaño del bloque) con cada operación de escritura.

Este problema de tamaño de transferencia no necesariamente desaparece con mmap. Si mapea un archivo, y luego memcpy algunos datos en el mapa, está ensuciando una página. Esa página debe ser eliminada en algún momento posterior: es indeterminada cuando. Si crea otro memcpy que toque la misma página, esa página podría estar limpia ahora y la volverá a ensuciar. Entonces se escribe dos veces. El camino a seguir consiste en copias alineadas en la página de múltiplos de un tamaño de página.

Answer 2

Lo querrás que sea un múltiplo del tamaño de página de la CPU, para poder usar la memoria de la manera más eficiente posible.

Pero lo ideal es utilizar mmap en su lugar, para que nunca tenga que ocuparse de los búferes.

Answer 3

Depende de la cantidad de RAM, VM, etc., así como de la cantidad de datos que se escriben. La respuesta más general es comparar qué buffer funciona mejor para la carga con la que está trabajando y usar lo que funciona mejor.

Answer 4

usted podría utilizar BUFSIZ definido en <stdio.h>

lo contrario, utilice un pequeño múltiplo del tamaño de página sysconf(_SC_PAGESIZE) (por ejemplo dos veces ese valor). La mayoría de los sistemas Linux tienen páginas de 4Kbytes (que a menudo es el mismo o un pequeño múltiplo del tamaño del bloque del sistema de archivos).

Como otros respondieron, usar el sistema mmap(2) podría ayudar. Los sistemas GNU (por ejemplo, Linux) tienen una extensión: la cadena del segundo modo de fopen puede contener la última m y cuando eso sucede, la libc de GNU intenta mmap.

Si maneja datos tan grandes como su RAM (o la mitad de ella), también puede usar madvise(2) para ajustar el rendimiento de mmap.

Consulte también this answer para una pregunta bastante similar a la suya. (Podría usar 64Kbytes como un tamaño de búfer razonable).

Answer 5

El "mejor" tamaño depende en gran medida del sistema de archivos subyacente.

Los stat y fstat llamadas llenan en una estructura de datos, struct stat, que incluye el siguiente campo:

blksize_t st_blksize; /* blocksize for file system I/O */ 

El sistema operativo es responsable de llenar este campo con un "buen tamaño" para escribir() bloquea.Sin embargo, también es importante llamar a write() con la memoria que está "bien alineada" (por ejemplo, el resultado de las llamadas malloc). La forma más fácil de conseguir que esto suceda es utilizar la interfaz de secuencia <stdio.h> proporcionada (con objetos FILE *).

El uso de mmap, como en otras respuestas aquí, también puede ser muy rápido en muchos casos. Sin embargo, tenga en cuenta que no es adecuado para algunos tipos de transmisiones (por ejemplo, tomas de corriente y tuberías).