Python: Leer gran cantidad de líneas de stdin

Question

Estoy tratando de leer una gran cantidad de líneas de entrada estándar con python.

more hugefile.txt | python readstdin.py 

El problema es que el programa se corta tan pronto como he leído una sola línea.

print sys.stdin.read(8) 
exit(1) 

Esto imprime los primeros 8 bytes pero luego espero que finalice pero nunca lo hace. Creo que no es solo leer los primeros bytes, sino intentar leer todo el archivo en la memoria.

mismo problema con sys.stdin.readline()

lo que realmente quiero hacer es, por supuesto, para leer todas las líneas, pero con una memoria intermedia, así que no se quede sin memoria.

estoy usando Python 2.6

Answer 1

Esto debería funcionar de manera eficiente en un pitón moderna:

import sys 

for line in sys.stdin: 
    # do something... 
    print line, 

continuación, puede ejecutar el script como el siguiente:

python readstdin.py < hugefile.txt 

Answer 2

Back in the day, you had to use xreadlines to get efficient huge line-at-a-time IO - y los documentos ahora pedirle que utilice for line in file.

Por supuesto, esto es de ayuda solo si está trabajando en las líneas de a una por vez. Si solo está leyendo grandes blobs binarios para pasar a otra cosa, entonces su otro mecanismo podría ser tan eficiente.