Obtener suma de comprobación MD5 para archivos muy grandes

Question

He escrito una secuencia de comandos que lee todos los archivos en un directorio y devuelve md5 hash para cada archivo. Sin embargo, no representa nada para un archivo bastante grande. Supongo que el intérprete tiene algún valor establecido para el tiempo máximo de procesamiento, y como lleva demasiado tiempo obtener este valor, simplemente se salta a otros archivos. ¿Hay alguna forma de obtener una suma de comprobación md5 para archivos grandes a través de PHP? Si no, ¿podría hacerse a través de un trabajo crón con cpanel? Le di una oportunidad, pero parece que mi comando md5sum nunca se ha procesado: nunca recibo un correo electrónico con el hash. Aquí está el PHP que ya escribí. Es un código muy simple y funciona archivo para los archivos de un tamaño razonable:

function md5_dir($dir) { 
    if (is_dir($dir)) { 
     if ($dh = opendir($dir)) { 
      while (($file = readdir($dh)) !== false) { 
       echo nl2br($file . "\n" . md5_file($file) . "\n\n"); 
      } 
      closedir($dh); 
     } 
    } 
} 

Answer 1

Si bien no pude reproducirlo con PHP 5.2 o 5.3 con un archivo de 2GB, parece que el problema aparece en las compilaciones de PHP de 32 bits.

Incluso así que no es una solución muy agradable usted podría tratar de dejar que el sistema a la Hasing

echo system("md5sum test.txt"); 

test.txt 46d6a7bcbcf7ae0501da341cb3bae27c

Answer 2

Si se lanzó un límite de tiempo de ejecución o el tiempo máximo de ejecución, PHP debe estar lanzando un mensaje de error a tal efecto. Verifique sus registros de errores. Si usted está golpeando un límite, puede establecer los valores máximos para el uso de memoria y tiempo de ejecución de PHP en su archivo php.ini:

memory_limit = 16M 

establecerá el uso de memoria máximo de 16 megas. Para un tiempo máximo de ejecución:

max_execution_time = 30 

se establecerá un tiempo máximo de ejecución de 30 segundos.

Answer 3

que podría lograr con la línea de comandos

shell_exec('md5sum -b '. $fileName); 

Answer 4

Asegúrese de utilizar escapeshellarg (http://us3.php.net/manual/en/function.escapeshellarg.php) si decide utilizar una llamada shell_exec() o system(). Es decir,

shell_exec('md5sum -b ' . escapeshellarg($filename)); 

Answer 5

FYI .... en caso de que alguien necesite una suma de md5() rápida. PHP es bastante rápido incluso con los archivos más grandes. Esto devuelve la suma de verificación en Linux Mint .iso (tamaño 880MB) en 3 segundos.

<?php 
// checksum 
$path = $_SERVER['DOCUMENT_ROOT']; // get upload folder path 
$file = $path."/somefolder/linux-mint.iso"; // any file 
echo md5_file($file); 
?>