Ventajas de mmap vs fileinput

Question

He leído que mmap es una ventaja que la entrada de archivos, porque leerá una página en el pagecache del kernel y compartirá la página en el espacio de direcciones del usuario. Mientras que, la entrada de archivo realmente trae una página al kernel y copia una línea al espacio de direcciones del usuario. Por lo tanto, existe esta sobrecarga de espacio adicional con la entrada de archivos.

Por lo tanto, estoy planeando pasar a mmap, pero quiero saber si los hackers avanzados de python mejoran el rendimiento.

Si es así, ¿hay una implementación similar de la entrada de archivos que utiliza mmap?

Indíqueme cualquier código de código abierto, si conoce.

gracias

Answer 1

mmap toma un archivo y lo pega en la memoria RAM, para que pueda índice como si fuera una matriz de bytes o como una estructura de datos grande.

Es mucho más rápido si está accediendo a su archivo de manera "aleatoria", es decir, haciendo muchas combinaciones de fseek(), fread(), fwrite().

Pero si solo está leyendo el archivo y procesando cada línea una vez (por ejemplo), entonces es poco probable que sea significativamente más rápido. De hecho, para cualquier tamaño de archivo razonable (recuerde que con mmap todo debe encajar en la RAM, o se produce una búsqueda que comience a reducir la eficacia de mmap), probablemente no se pueda distinguir.