Usando hashlib para calcular md5 resumen de un archivo en Python 3

Question

Con python 2.7 el siguiente código calcula el hexdigest mD5 del contenido de un archivo.

(EDITAR: bueno, realmente no como las respuestas han demostrado, eso pensé).

import hashlib 

def md5sum(filename): 
    f = open(filename, mode='rb') 
    d = hashlib.md5() 
    for buf in f.read(128): 
     d.update(buf) 
    return d.hexdigest() 

Ahora si me quedo ese código usando python3 que provocará una excepción TypeError:

d.update(buf) 
TypeError: object supporting the buffer API required 

me di cuenta de que podía hacer que el código de ejecución tanto con python2 y python3 cambiándolo a:

def md5sum(filename): 
    f = open(filename, mode='r') 
    d = hashlib.md5() 
    for buf in f.read(128): 
     d.update(buf.encode()) 
    return d.hexdigest() 

Ahora todavía me pregunto por qué el código original dejó de funcionar. Parece que al abrir un archivo utilizando el modificador de modo binario, devuelve números enteros en lugar de cadenas codificadas como bytes (lo digo porque el tipo (buf) devuelve int). ¿Este comportamiento se explica en alguna parte?

Answer 1

Creo que quería que el ciclo for para realizar llamadas sucesivas a f.read(128). Eso se puede hacer usando iter() y functools.partial():

import hashlib 
from functools import partial 

def md5sum(filename): 
    with open(filename, mode='rb') as f: 
     d = hashlib.md5() 
     for buf in iter(partial(f.read, 128), b''): 
      d.update(buf) 
    return d.hexdigest() 

print(md5sum('utils.py')) 

Answer 2

for buf in f.read(128): 
    d.update(buf) 

.. actualiza los datos de forma secuencial hash con cada uno de los primeros 128 bytes valores del archivo. Dado que iterar sobre un bytes produce objetos int, recibe las siguientes llamadas que causan el error que encontró en Python3.

d.update(97) 
d.update(98) 
d.update(99) 
d.update(100) 

que no es lo que quiere.

su lugar, desea:

def md5sum(filename): 
    with open(filename, mode='rb') as f: 
    d = hashlib.md5() 
    while True: 
     buf = f.read(4096) # 128 is smaller than the typical filesystem block 
     if not buf: 
     break 
     d.update(buf) 
    return d.hexdigest() 

Answer 3

finalmente he cambiado de código para la versión más abajo (que me resulta fácil de entender), después de hacer la pregunta. Pero probablemente lo cambie a la versión sugerida por Raymond Hetting functools.partial.

import hashlib 

def chunks(filename, chunksize): 
    f = open(filename, mode='rb') 
    buf = "Let's go" 
    while len(buf): 
     buf = f.read(chunksize) 
     yield buf 

def md5sum(filename): 
    d = hashlib.md5() 
    for buf in chunks(filename, 128): 
     d.update(buf) 
    return d.hexdigest()