Python lee un archivo enorme línea por línea con codificación UFT-8

Question

Quiero leer algunos archivos bastante grandes (para ser precisos: el conjunto de datos de palabras de google ngram 1) y contar cuántas veces ocurre un personaje. Ahora escribí este script:

import fileinput 
files = ['../../datasets/googlebooks-eng-all-1gram-20090715-%i.csv' % value for value in range(0,9)] 
charcounts = {} 
lastfile = '' 
for line in fileinput.input(files): 
    line = line.strip() 
    data = line.split('\t') 
    for character in list(data[0]): 
     if (not character in charcounts): 
      charcounts[character] = 0 
     charcounts[character] += int(data[1]) 
    if (fileinput.filename() is not lastfile): 
     print(fileinput.filename()) 
     lastfile = fileinput.filename() 
    if(fileinput.filelineno() % 100000 == 0): 
     print(fileinput.filelineno()) 
print(charcounts) 

que funciona bien, hasta que alcanza aprox. línea de 700.000 del primer archivo, a continuación, obtener este error:

../../datasets/googlebooks-eng-all-1gram-20090715-0.csv 
100000 
200000 
300000 
400000 
500000 
600000 
700000 
Traceback (most recent call last): 
    File "charactercounter.py", line 5, in <module> 
    for line in fileinput.input(files): 
    File "C:\Python31\lib\fileinput.py", line 254, in __next__ 
    line = self.readline() 
    File "C:\Python31\lib\fileinput.py", line 349, in readline 
    self._buffer = self._file.readlines(self._bufsize) 
    File "C:\Python31\lib\encodings\cp1252.py", line 23, in decode 
    return codecs.charmap_decode(input,self.errors,decoding_table)[0] 
UnicodeDecodeError: 'charmap' codec can't decode byte 0x8d in position 7771: cha 
racter maps to <undefined> 

Para resolver este He buscado en la web un poco, y se acercó con este código:

import fileinput 
files = ['../../datasets/googlebooks-eng-all-1gram-20090715-%i.csv' % value for value in range(0,9)] 
charcounts = {} 
lastfile = '' 
for line in fileinput.input(files,False,'',0,'r',fileinput.hook_encoded('utf-8')): 
    line = line.strip() 
    data = line.split('\t') 
    for character in list(data[0]): 
     if (not character in charcounts): 
      charcounts[character] = 0 
     charcounts[character] += int(data[1]) 
    if (fileinput.filename() is not lastfile): 
     print(fileinput.filename()) 
     lastfile = fileinput.filename() 
    if(fileinput.filelineno() % 100000 == 0): 
     print(fileinput.filelineno()) 
print(charcounts) 

pero el gancho ahora uso intenta leer todo el archivo de 990 MB en la memoria a la vez, lo que bloquea mi PC. ¿Alguien sabe cómo reescribir este código para que realmente funcione?

p.s: el código ni siquiera ha corrido hasta el final, por lo que ni siquiera sé si hace lo que tiene que hacer, pero para que eso suceda, primero tengo que solucionar este error.

Ah, y yo uso de Python 3.2

Answer 1

No sé por qué la entrada de archivos no funciona como se esperaba.

Le sugiero que utilice la función open en su lugar. El valor de retorno puede repetirse y devolverá líneas, al igual que la entrada de archivo.

El código será entonces algo así como:

for filename in files: 
    print(filename) 
    for filelineno, line in enumerate(open(filename, encoding="utf-8")): 
     line = line.strip() 
     data = line.split('\t') 
     # ... 

Algunos enlaces de documentación: enumerate, open, io.TextIOWrapper (retornos abierto una instancia de TextIOWrapper).

Answer 2

Podría tratar de leer no es un archivo completo, pero una parte de ella como binarios, entonces decodificar(), y luego proccess, a continuación, llamar de nuevo la función de leer otra parte ?

Answer 3

yo no, si el que tengo es la versión más reciente (y no me acuerdo cómo me las leo), pero ...

$ file -i googlebooks-eng-1M-1gram-20090715-0.csv 
googlebooks-eng-1M-1gram-20090715-0.csv: text/plain; charset=us-ascii 

has necesitado o fileinput.hook_encoded('ascii')fileinput.hook_encoded('latin_1')? No estoy seguro de por qué esto marcaría la diferencia, ya que creo que estos son solo subconjuntos de Unicode con el mismo mapeo, pero vale la pena intentarlo.

EDIT Creo que esto podría ser un error en la entrada de archivos, ninguno de estos funcionan.

Answer 4

Si está preocupado por el Uso de memoria, ¿por qué no leer a línea con readline()? Esto eliminará los problemas de memoria con los que se está metiendo. Actualmente está leyendo el archivo completo antes de realizar cualquier acción en el archivo Obj, con readline() no está guardando los datos, simplemente buscándolos por línea.

def charCount1(_file, _char): 
    result = [] 
    file = open(_file, encoding="utf-8") 
    data = file.read() 
    file.close() 
    for index, line in enumerate(data.split("\n")): 
    if _char in line: 
     result.append(index) 
    return result 

def charCount2(_file, _char): 
    result = [] 
    count = 0 
    file = open(_file, encoding="utf-8") 
    while 1: 
    line = file.readline() 
    if _char in line: 
     result.append(count) 
    count += 1 
    if not line: break 
    file.close() 
    return result 

no tuve la oportunidad de ver muy por encima de su código, pero las muestras anteriores se debería dar una idea de cómo hacer los cambios apropiados a su estructura.charCount1() demuestra el método que almacena el archivo entero en una sola llamada de lectura(). Probé tu método en un archivo de texto de +400 MB y el proceso python.exe llegó a + 900 MB. cuando se ejecuta charCount2(), el proceso python.exe no debe exceder más de unos pocos MB de (siempre y cuando no haya granel hasta el tamaño con otro código);)

Answer 5

El problema es que fileinput no utiliza file.xreadlines(), que lee línea por línea, pero file.readline(bufsize), que lee bytes de bufsize a la vez (y lo convierte en una lista de líneas). Proporciona 0 para el parámetro bufsize de fileinput.input() (que también es el valor predeterminado). Bufsize 0 significa que el archivo completo está almacenado en el búfer.

Solución: proporcione un bufsize razonable.

Answer 6

Esto funciona para mí: puede usar "utf-8" en la definición de gancho. Lo usé en un archivo de líneas de 50GB/200M sin ningún problema.

fi = fileinput.FileInput(openhook=fileinput.hook_encoded("iso-8859-1"))