¿Utiliza funciones hash para el almacenamiento de archivos?

Question

Una técnica común para almacenar una gran cantidad de archivos/blobs en un sistema de archivos es usar una función hash para determinar la ruta del archivo; ej. hash (identificador) -> "o238455789" -> o23/8455/789 (a menudo también existe una estrategia de colisión hash)

¿Tiene esta técnica un nombre (es un 'patrón'?) para que Puedo encontrarlo con una búsqueda de ACM Digital Library o una base de datos en línea similar de literatura informática.

¿Hay algún libro/documento que explore el problema o la solución?

PD Gracias por las notas útiles, pero ninguna aborda la técnica dada anteriormente.

Answer 1

Suena como sharding, pero probablemente me falten las sutilezas.

E igualmente no veo muchos artículos en los que - a few on highscalability.com

Answer 2

@ Chris Kimpton

Esto se llama indexación. Sharding o particionamiento es más acerca de cómo dividir un archivo.

Answer 3

Creo que esto es lo que Microsoft ha hecho en SQL Server 2008 con el almacenamiento FILESTREAM. Permite el almacenamiento de datos BLOB dentro de SQL Server, pero le permite acceder a los archivos directamente desde el disco, lo que le brinda un rendimiento sorprendente.

Microsoft publicó un libro blanco sobre managing unstructured data que puede interesar. También hay un MSDN article describing FILESTREAM, así como los pros & contras de almacenamiento de archivos & si Blob o no a Blob

Answer 4

patente de Estados Unidos 5742807 se ocupa de esta
http://www.freepatentsonline.com/5742807.html

Sistemas y métodos para gestionar una pluralidad de documentos almacenados electrónicamente en un repositorio documento abierto emplear un hash unidireccional función para calcular un hash para los documentos almacenados como un enlace de indexación. Un índice de administración de documentos asigna un atributo de un documento original almacenado en el repositorio al hash y al documento. Un índice de hash a ubicación mapea el hash a una ubicación de dirección del documento en un sistema de archivos del repositorio. El atributo apunta al hash que apunta a la ubicación para vincular el atributo a la ubicación.