¿Cómo debo sondear una gran cantidad de archivos para cambios?

Question

Me gustaría sondear el sistema de archivos en busca de archivos o subdirectorios cambiados, agregados o eliminados. Todos los cambios deben detectarse rápidamente pero sin ejercer presión sobre la máquina. El sistema operativo es Windows> = Vista, la parte observada es un directorio local.

Normalmente, recurriría a un FileSystemWatcher, pero esto dio lugar a problemas con otros programas que intentaron mirar el mismo lugar (de forma destacada, Windows Explorer). Además, escuché que FSW no es realmente confiable incluso para carpetas locales y con un gran buffer.

El problema principal que tengo es que la cantidad de archivos y directorios puede ser muy grande (adivinar 7 dígitos). Simplemente ejecutar un control de todos los archivos cada segundo afectó notablemente a mi máquina.

Mi siguiente idea fue verificar diferentes partes de todo el árbol por segundo para reducir el impacto general, y posiblemente agregar un tipo de heurística, como revisar los archivos que cambian frecuentemente en una sucesión más rápida.

Me pregunto si hay patrones para este tipo de problema, o si alguien tiene experiencia con esta situación.

Answer 1

Hemos implementado una característica similar, usando C#. El FileSystemWatcher era ineficiente con grandes árboles de directorios.

Nuestra alternativa, se utiliza FSNodes, una estructura creada por nosotros, usando las siguientes llamadas a la API de Windows:

[StructLayout(LayoutKind.Sequential)] 
     private struct FILETIME 
    { 
     public uint dwLowDateTime; 
     public uint dwHighDateTime; 
    }; 

    [StructLayout(LayoutKind.Sequential, CharSet=CharSet.Unicode)] 
     private struct WIN32_FIND_DATA 
    { 
     public FileAttributes dwFileAttributes; 
     public FILETIME ftCreationTime; 
     public FILETIME ftLastAccessTime; 
     public FILETIME ftLastWriteTime; 
     public uint nFileSizeHigh; 
     public uint nFileSizeLow; 
     public int dwReserved0; 
     public int dwReserved1; 
     [MarshalAs(UnmanagedType.ByValTStr, SizeConst=MAX_PATH)] 
     public string cFileName; 
     [MarshalAs(UnmanagedType.ByValTStr, SizeConst=MAX_ALTERNATE)] 
     public string cAlternate; 
    } 

    [DllImport("kernel32.dll", SetLastError = true)] 
    static extern bool FindClose(IntPtr hFindFile); 

    [DllImport("kernel32", CharSet=CharSet.Unicode)] 
    private static extern IntPtr FindFirstFile(
     string lpFileName, out WIN32_FIND_DATA lpFindFileData); 

    [DllImport("kernel32", CharSet=CharSet.Unicode)] 
    private static extern bool FindNextFile(
     IntPtr hFindFile, out WIN32_FIND_DATA lpFindFileData); 

Lo que hacemos es un procesamiento estática. Guardamos un árbol de metadatos en el disco y comparamos el árbol de directorios almacenados con el cargado, buscando modificado (basado en su sello de tiempo (más rápido), o en el hash del archivo). Además, podemos administrar archivos eliminados, agregados y movidos, incluso modificados con movimiento (también basados ​​en el hash del archivo).

Esta implementación se mezcló con un daemon que la ejecutó cada POLL_TIME, era válida para nosotros. Espero eso ayude.

Answer 2

Para entornos * nix puede usar inotify https://github.com/rvoicilas/inotify-tools/wiki/, que funcionó muy bien en mi limitada investigación sobre el mismo. Puede que exista una versión que funcione con Windows con la que tengo menos experiencia ... la búsqueda en Google rápida me llevó a un clon de Java llamado jnotify http://jnotify.sourceforge.net/ que se anuncia para que funcione en Windows, por lo que podría valer la pena intentarlo.

Answer 3

Mi mejor opción sería usar el diario USN si es un equipo local, tiene privilegios de administrador y las particiones son NTFS. El diario de USN es extremadamente rápido y confiable. Es un top largo y este enlace lo explica todo: http://www.microsoft.com/msj/0999/journal/journal.aspx