Calcular el hash de solo los datos de imagen del núcleo (excluyendo los metadatos) para una imagen

Question

Estoy escribiendo un script para calcular la suma MD5 de una imagen sin incluir la etiqueta EXIF.

Para hacer esto con precisión, necesito saber dónde está ubicada la etiqueta EXIF ​​en el archivo (principio, medio, final) para poder excluirla.

¿Cómo puedo determinar en qué parte del archivo se encuentra la etiqueta?

Las imágenes que estoy escaneando están en el formato TIFF, JPG, PNG, BMP, DNG, CR2, NEF y algunos videos MOV, AVI y MPG.

Answer 1

Una forma sencilla de hacerlo es recortar los datos de la imagen del núcleo. Para PNG, puede hacer esto contando solo los "fragmentos críticos" (es decir, los que comienzan con letras mayúsculas). JPEG tiene una estructura de archivos similar pero más simple.

El hash visual en ImageMagick descomprime la imagen a medida que la arrastra. En su caso, podría comprimir los datos de la imagen comprimida de inmediato, por lo que (si se implementan correctamente) a debería ser tan rápido como mezclar el archivo sin formato.

Este es un pequeño script de Python que ilustra la idea. Puede o no puede trabajar para usted, pero debería al menos dar una indicación de lo que quiero decir :)

import struct 
import os 
import hashlib 

def png(fh): 
    hash = hashlib.md5() 
    assert fh.read(8)[1:4] == "PNG" 
    while True: 
     try: 
      length, = struct.unpack(">i",fh.read(4)) 
     except struct.error: 
      break 
     if fh.read(4) == "IDAT": 
      hash.update(fh.read(length)) 
      fh.read(4) # CRC 
     else: 
      fh.seek(length+4,os.SEEK_CUR) 
    print "Hash: %r" % hash.digest() 

def jpeg(fh): 
    hash = hashlib.md5() 
    assert fh.read(2) == "\xff\xd8" 
    while True: 
     marker,length = struct.unpack(">2H", fh.read(4)) 
     assert marker & 0xff00 == 0xff00 
     if marker == 0xFFDA: # Start of stream 
      hash.update(fh.read()) 
      break 
     else: 
      fh.seek(length-2, os.SEEK_CUR) 
    print "Hash: %r" % hash.digest() 


if __name__ == '__main__': 
    png(file("sample.png")) 
    jpeg(file("sample.jpg")) 

Answer 2

Es mucho más fácil de utilizar la biblioteca de imágenes de Python para extraer los datos de la imagen (ejemplo en la iPython):

In [1]: import Image 

In [2]: import hashlib 

In [3]: im = Image.open('foo.jpg') 

In [4]: hashlib.md5(im.tostring()).hexdigest() 
Out[4]: '171e2774b2549bbe0e18ed6dcafd04d5' 

Esto funciona en cualquier tipo de imagen que PIL pueda manejar. El método tostring devuelve una cadena que contiene los datos de píxeles.

Por cierto, el hash MD5 ahora se considera bastante débil. Mejor utilizar SHA512:

In [6]: hashlib.sha512(im.tostring()).hexdigest() 
Out[6]: '6361f4a2722f221b277f81af508c9c1d0385d293a12958e2c56a57edf03da16f4e5b715582feef3db31200db67146a4b52ec3a8c445decfc2759975a98969c34' 

En mi máquina, el cálculo de la suma de control MD5 para un JPEG 2500x1600 toma alrededor de 0,07 segundos. Usando SHA512, toma 0,10 segundos.

Para películas, puede extraer marcos de ellas con p. Ej. ffmpeg, y luego procesarlos como se muestra arriba.

Answer 3

me gustaría utilizar un extractor de metadatos para preprocesar el hash:

De paquete ImageMagick tiene ...

mogrify -strip blah.jpg 

y si lo hace

identify -list format 

aparentemente funciona con todas las los formatos citados.

Answer 4

Puede utilizar stream que es parte de la suite ImageMagick:

$ stream -map rgb -storage-type short image.tif - | sha256sum 
d39463df1060efd4b5a755b09231dcbc3060e9b10c5ba5760c7dbcd441ddcd64 - 

o

$ sha256sum <(stream -map rgb -storage-type short image.tif -) 
d39463df1060efd4b5a755b09231dcbc3060e9b10c5ba5760c7dbcd441ddcd64 /dev/fd/63 

Este ejemplo es para un archivo TIFF que es RGB con 16 bits por muestra (es decir, 48 bits por pixel).Entonces uso map a rgb y shortstorage-type (aquí puede usar char si los valores RGB son de 8 bits).

Este método informa el mismo signature hash que los detallados informes Imagemagick identify comando:

$ identify -verbose image.tif | grep signature 
signature: d39463df1060efd4b5a755b09231dcbc3060e9b10c5ba5760c7dbcd441ddcd64