¿Es posible acelerar Python IO?

Question

consideran este programa en Python:

import sys 

lc = 0 
for line in open(sys.argv[1]): 
    lc = lc + 1 

print lc, sys.argv[1] 

Correr en mi archivo de texto 6 GB, que se completa en 2 minutos ~.

Pregunta: ¿es posible ir más rápido?

Tenga en cuenta que al mismo tiempo se requiere por:

wc -l myfile.txt 

así, sospecho que la anwer a mi quesion es sólo un simple "no".

Tenga en cuenta también que mi verdadero programa está haciendo algo más interesante que un simple recuento de las líneas, así que por favor dar una respuesta genérica, no Hoja de conteo-tricks (como mantener una metadatos número de líneas en el archivo)

PD: etiqueté "linux" esta pregunta, porque solo estoy interesado en respuestas específicas de Linux. Siéntete libre de dar respuestas de OS-agnóstico, o incluso de otro sistema operativo, si las tienes.

Véase también la llanura follow-up question

Answer 1

No puede obtener una velocidad de lectura de disco más rápida que la máxima.

Con el fin de alcanzar la velocidad de disco máximo que puede utilizar las dos puntas siguientes:

1. leer el archivo con una gran amortiguación. Esto puede codificarse "manualmente" o simplemente usando io.BufferedReader (disponible en python2.6 +).
2. Haga el recuento de línea nueva en otra secuencia, en paralelo.

Answer 2

"no".

Ha alcanzado prácticamente la velocidad máxima de disco.

Quiero decir, podría mmap el archivo, o leerlo en fragmentos binarios, y usar .count('\n') o algo así. Pero es poco probable que proporcione mejoras importantes.

Answer 3

Si supone que un disco puede leer 60MB/s, necesitaría 6000/60 = 100 segundos, que es 1 minuto 40 segundos. No creo que puedas obtener más rápido porque el disco es el cuello de botella.

Answer 4

como otros han dicho - "no"

Casi la totalidad de su tiempo se dedica a la espera de IO. Si esto es algo que necesita hacer más de una vez, y tiene una máquina con toneladas de ram, puede mantener el archivo en la memoria. Si su máquina tiene 16 GB de RAM, tendrá 8 GB disponibles en/dev/shm para jugar.

Otra opción: Si tiene varias máquinas, este problema es trivial para paralelizar. Divídelo entre varias máquinas, cada una cuenta sus nuevas líneas y agrega los resultados.

Answer 5

Tenga en cuenta que Python I/O se implementa en C, por lo que no hay mucha suerte de acelerarlo aún más.

Answer 6

Lanza el hardware al problema.

Como gs señaló, su cuello de botella es la velocidad de transferencia del disco duro. Entonces, no, no puedes usar un algoritmo mejor para mejorar tu tiempo, pero puedes comprar un disco duro más rápido.

Editar: Otro buen punto por gs; también puede usar una configuración RAID para mejorar su velocidad. Esto se puede hacer con hardware o software (por ejemplo, OS X, Linux, Windows Server, etc.).

---

Administración Ecuación

(Amount to transfer)/(transfer rate) = (time to transfer)

(6000 MB)/(60 MB/s) = 100 seconds

(6000 MB)/(125 MB/s) = 48 seconds

---

Soluciones de hardware

The ioDrive Duo es supuestamente la solución más rápida para un entorno corporativo, y "estará disponible en abril de 2009".

O puede consultar el disco duro WD Velociraptor (10.000 rpm).

También escuché que el Seagate Cheetah es una buena opción (15,000 rpm con una tasa de transferencia sostenida de 125MB/s).

Answer 7

El truco consiste en no hacer que los electrones se muevan más rápido (eso es difícil de hacer) sino en hacer más trabajo por unidad de tiempo.

Primero, asegúrese de que la lectura de su archivo de 6GB esté ligada a E/S, no a la CPU.

Si está vinculado a E/S, considere el patrón de diseño "Fan-Out".

• Un proceso principal genera un grupo de niños.

• El elemento principal lee el archivo de 6 Gb y distribuye las filas a los niños escribiendo en las tuberías de STDIN. El tiempo de lectura de 6GB permanecerá constante. La negociación de filas debe implicar el menor procesamiento posible de los padres. Deben usarse filtros o conteos muy simples.

  Una tubería es un canal en la memoria para la comunicación. Es un buffer compartido con un lector y un escritor.

• Cada niño lee una fila de STDIN y realiza el trabajo adecuado. Cada niño probablemente debería escribir un archivo de disco simple con los resultados finales (resumidos, reducidos). Más tarde, los resultados en esos archivos se pueden consolidar.

Answer 8

2 minutos suena a la derecha para leer un archivo completo de 6 gb. No hay mucho que puedas hacer con el algoritmo o el sistema operativo para acelerar las cosas.Creo que tiene dos opciones:

1. Tirar dinero al problema y obtener un mejor hardware. Probablemente la mejor opción si este proyecto es para su trabajo.

2. No lea todo el archivo. No sé qué estás tratando de hacer con los datos, así que tal vez no tienes otra opción que leer todo el asunto. Por otro lado, si está escaneando todo el archivo para una cosa en particular, entonces sería útil poner algunos metadatos allí al inicio.