Determinar si un archivo es un duplicado

Question

¿Existe alguna manera confiable de determinar si dos archivos son iguales o no? Por ejemplo, dos archivos con el mismo tamaño y tipo pueden ser o no el mismo binarilly (sí, sé que no es realmente una palabra). Asumo que la comparación de uno o dos sumas de comprobación de los archivos va a ayudar, pero me pregunto:

1. ¿Cuán confiables son las sumas de comprobación en determinar si dos archivos son diferentes; ¿Cuáles son las posibilidades de que dos archivos diferentes tengan la misma suma de comprobación?
2. ¿La confiabilidad aumentaría en aplicando suma de comprobación adicional comparaciones?
3. ¿Qué algoritmo (s) de suma de verificación sería el más eficiente y/o confiable?

¡Se agradecen todas las ideas, sugerencias o pensamientos!

P.S. El código para esto se está escribiendo en Java ejecutándose en un sistema nix, pero la entrada genérica o de plataforma independiente es más útil.

Answer 1

1) Very reliable 
2) Not theoretically 
3) SHA-1 

Answer 2

Cualquier algoritmo de suma de comprobación estándar como MD5 le dará una prueba confiable, para la mayoría de los escenarios de la vida real. Si necesita aún más confiabilidad, vaya a SHA. http://en.wikipedia.org/wiki/Cryptographic_hash_function#Cryptographic_hash_algorithms

Answer 3

Es imposible saber con certeza si dos archivos son iguales a menos que los compare byte por byte. Es similar a cómo no se puede garantizar que una colección contenga o no un objeto determinado, a menos que revise cada elemento de la colección.

Los checksums son básicamente un hash. Que sean lo suficientemente buenos para tus propósitos depende de cuán crítica sea tu aplicación. Sin duda es posible crear una función hash con bajo riesgo de colisión; después de todo, las contraseñas son hash, incluso en situaciones donde protegen los datos confidenciales y no le gustaría tener una segunda contraseña válida en su cuenta. A menos que esté escribiendo código para, digamos, un banco, un algoritmo de suma de comprobación sólida debería proporcionar una muy buena aproximación.

El uso de sumas de comprobación múltiples aumentará la fiabilidad si y solo si los diferentes algoritmos de suma de comprobación utilizan funciones hash diferentes.

Tu tercera pregunta ya ha sido solucionada por la respuesta de leonbloy; MD5 y SHA-1 son comunes.

Answer 4

Cualquier suma de comprobación le dará un falso positivo para una cantidad muy pequeña de casos. Si puedes vivir con eso, bien. Si no es así, la forma de hacerlo es hacer la comparación de suma de comprobación primero, y si las sumas de comprobación son iguales, entonces una prueba de byte a byte. La prueba de byte por byte se realizará muy raramente, por lo que el costo promediado en muchas comparaciones será muy pequeño. SIN EMBARGO, este no es el caso cuando se espera que la mayoría de sus comparaciones sean "verdaderas".

También depende de la cantidad de archivos diferentes que está probando. Calcule una suma de comprobación de alta fiabilidad es casi tan caro como hacer una comparación: si cada archivo se compara aproximadamente una vez, entonces puede ser más barato hacer las comparaciones.