Compresión de archivos grandes con python

Question

Quiero comprimir archivos de texto grandes con python (estoy hablando de archivos de> 20 Gb). no soy ninguna cómo un experto así que traté de recopilar la información que encontré y la siguiente parece que funciona:

import bz2 

with open('bigInputfile.txt', 'rb') as input: 
    with bz2.BZ2File('bigInputfile.txt.bz2', 'wb', compresslevel = 9) as output: 
     while True: 
      block = input.read(900000) 
       if not block: 
        break 
       output.write(block) 

input.close() 
output.close() 

Me pregunto si esta sintaxis es correcta y si hay una manera de optimizarlo? Tengo la impresión de que me falta algo aquí.

Muchas gracias.

Answer 1

Su guión parece correcta, pero se puede abreviar:

from shutil import copyfileobj 

with open('bigInputfile.txt', 'rb') as input: 
    with bz2.BZ2File('bigInputfile.txt.bz2', 'wb', compresslevel=9) as output: 
     copyfileobj(input, output) 

Answer 2

¿Por qué llama a los métodos .close()? No son necesarios ya que usa la instrucción with: