Almacenamiento en memoria caché de un archivo binario en C#

Question

¿Es posible almacenar en caché un archivo binario en .NET y realizar operaciones normales de archivos en el archivo en caché?

Answer 1

La manera de hacerlo es leer todo el contenido del FileStream en un objeto MemoryStream y luego usar este objeto para E/S más adelante. Ambos tipos heredan de Stream, por lo que el uso será efectivamente idéntico.

He aquí un ejemplo:

private MemoryStream cachedStream; 

public void CacheFile(string fileName) 
{ 
    cachedStream = new MemoryStream(File.ReadAllBytes(fileName)); 
} 

Así que llama al método CacheFile vez cuando se desea almacenar en caché el archivo dado, y luego cualquier otro lugar en el uso de código cachedStream para la lectura. (El archivo real se cerrará tan pronto como se haya almacenado en caché su contenido). Lo único que debe recordar es deshacerse del cachedStream cuando haya terminado de usarlo.

Answer 2

Cualquier sistema operativo moderno tiene incorporado un sistema de almacenamiento en caché, de modo que cada vez que interactúa con un archivo, está interactuando con un caché en memoria del archivo.

Antes de aplicar el almacenamiento en caché personalizado, debe hacer una pregunta importante: ¿qué sucede cuando el archivo subyacente cambia, por lo que mi copia en caché no es válida?

Puede complicar aún más las cosas si se permite que la copia en caché cambie, y los cambios deben guardarse nuevamente en el archivo subyacente.

Si el archivo es pequeño, es más simple usar MemoryStream como se sugiere en otra respuesta.

Si necesita guardar los cambios en el archivo, puede escribir una clase contenedora que reenvía todo a MemoryStream, pero adicionalmente tiene una propiedad IsDirty que establece en verdadero cada vez que se realiza una operación de escritura. Entonces puede tener algún código de administración que se active cada vez que elija (al final de una transacción más grande?), Comprueba el (IsDirty == true) y guarda la nueva versión en el disco. Esto se denomina almacenamiento en caché "escritura diferida", ya que las modificaciones se realizan en la memoria y no se guardan hasta un tiempo después.

Si realmente quiere complicar las cosas, o si tiene un archivo muy grande, podría implementar su propia búsqueda, donde elija un tamaño de búfer (¿quizás 1 MB?) Y mantenga un pequeño número de byte[] páginas tamaño. Esta vez tendrías una bandera sucia para cada página. Implementará los métodos Stream para que oculten los detalles de la persona que llama, y ​​extraiga (o descarte) los búferes de la página siempre que sea necesario.

Por último, si desea una vida más fácil, tratar:

http://www.microsoft.com/Sqlserver/2005/en/us/compact.aspx

Se le permite utilizar el mismo motor SQL como SQL Server, pero en un fichero, con todo lo que ocurre dentro de su proceso en lugar de a través de una servidor RDBMS externo. Esto probablemente le dará una forma mucho más simple de consultar y actualizar su archivo, y evitará la necesidad de una gran cantidad de código de persistencia escrito a mano.

Answer 3

Bueno, por supuesto puede leer el archivo en una matriz de bytes [] y comenzar a trabajar en él. Y si desea utilizar una corriente podrá copiar sus FileStream en una MemoryStream y empezar a trabajar con él - como:

public static void CopyStream(Stream input, Stream output) 
{ 
     var buffer = new byte[32768]; 
     int readBytes; 
     while((readBytes = input.Read(buffer, 0, buffer.Length)) > 0) 
     { 
       output.Write(buffer, 0, readBytes); 
     } 
} 

Si usted está preocupado por el rendimiento - así, normalmente los mecanismos construir-en de los diferentes archivos los métodos de acceso deberían ser suficientes.

Answer 4

No sé qué es exactamente lo que está haciendo, pero me ofrezco esta sugerencia (que puede o no ser viables en función de lo que está haciendo):

En lugar de sólo el almacenamiento en caché el contenido de la archivo, ¿por qué no pones el contenido del archivo en una bonita colección fuertemente tipada de elementos y luego lo almacenas en caché? Probablemente hará que la búsqueda de elementos sea un poco más fácil, y más rápido ya que no hay análisis involucrados.

Answer 5

Hay un sistema de caché muy elegante en Lucene que almacena en caché los bytes del disco en la memoria y actualiza inteligentemente la tienda, etc. Es posible que desee echar un vistazo a ese código para tener una idea de cómo lo hacen. También es posible que desee leer en la capa de almacenamiento de datos de Microsoft SQL Server, ya que el equipo de MSSQL es bastante cercano acerca de algunos de los detalles de implementación más cruciales.