Python cree que un archivo de texto de 3000 líneas tiene una línea de longitud?

Question

Tengo un archivo de texto muy largo que estoy tratando de procesar usando Python.

Sin embargo, el siguiente código:

for line in open('textbase.txt', 'r'): 
    print 'hello world' 

sólo produce el siguiente resultado:

hello world 

Es como si Python cree que el archivo es sólo una línea larga, aunque es muchos miles de líneas de largo, cuando se ve en un editor de texto. Examinándola en la línea de comandos utilizando el comando archivo da:

$ file textbase.txt 
textbase.txt: Big-endian UTF-16 Unicode English text, with CR line terminators 

Sucede algo? ¿Debo cambiar los terminadores de línea?

Answer 1

Probablemente descubrirá que es el "con terminadores de línea CR" lo que le da la partida al juego. Si está trabajando en una plataforma que usa líneas nuevas como terminadores de línea, será y verá su archivo como una gran línea honkin '.

Cambie su archivo de entrada para que utilice los terminadores de línea correctos. Tu editor probablemente sea más indulgente que tu implementación de Python.

Las terminaciones de línea CR son una cosa de Mac hasta donde yo sé y puede usar el modificador de modo U en open para autodetectar en función del terminador de primera línea encontrado.

Answer 2

open() devuelve un objeto de archivo. Es necesario utilizar:

for line in open('textbase.txt', 'r').readlines(): 
    print line 

Answer 3

De acuerdo con la documentation for open(), se debe añadir un U al modo:

open('textbase.txt', 'Ur') 

Esto permite "universal newlines", lo que les normaliza a \n en las cadenas que te da .

Sin embargo, lo correcto es decodificar el UTF-16BE en objetos Unicode primero, antes de traducir las nuevas líneas. De lo contrario, un byte oportunidad 0x0d podría conseguir erróneamente convertido en un 0x0a, lo que resulta en

UnicodeDecodeError: 'utf16' codec can't decode byte 0x0a in position 12: truncated data.

de codecs module suministra una función open que puede decodificar Unicode y manejar los saltos de línea, al mismo tiempo Python:

import codecs 
for line in codecs.open('textbase.txt', 'Ur', 'utf-16be'): 
    ... 

Si el el archivo tiene una marca de orden de bytes (BOM) y usted especifica 'utf-16', luego detecta el endianness y oculta la lista de materiales por usted. Si no lo hace (dado que la lista de materiales es opcional), entonces ese decodificador simplemente continuará y usará la endianidad de su sistema, lo que probablemente no sea bueno.

Especificación del orden de bits a sí mismo (con 'utf-16be') no ocultará la lista de materiales, por lo que es posible que desee utilizar este truco:

import codecs 
firstline = True 
for line in codecs.open('textbase.txt', 'Ur', 'utf-16be'): 
    if firstline: 
     firstline = False 
     line = line.lstrip(u'\ufeff') 

Ver también: Python Unicode HOWTO

Answer 4

parece que el archivo tiene líneas terminado solo por CR, y Python probablemente espera LF o CRLF. Trate de usar el 'salto de línea universal':

for line in open('textbase.txt', 'rU'): 
    print 'hello world' 

http://docs.python.org/library/functions.html?highlight=open#open