obteniendo muy rápidamente el tamaño total de la carpeta

Question

Quiero encontrar rápidamente el tamaño total de cualquier carpeta usando python.

import os 
from os.path import join, getsize, isfile, isdir, splitext 
def GetFolderSize(path): 
    TotalSize = 0 
    for item in os.walk(path): 
     for file in item[2]: 
      try: 
       TotalSize = TotalSize + getsize(join(item[0], file)) 
      except: 
       print("error with file: " + join(item[0], file)) 
    return TotalSize 
print(float(GetFolderSize("C:\\")) /1024 /1024 /1024) 

Esa es la simple script que escribí para obtener el tamaño total de la carpeta, se tardó alrededor de 60 segundos (+ -5 segundos). Al usar multiprocesamiento, lo reduje a 23 segundos en una máquina de cuatro núcleos.

Usando el explorador de archivos de Windows solo toma ~ 3 segundos (clic derecho-> propiedades para verlo). Entonces, ¿hay una manera más rápida de encontrar el tamaño total de una carpeta cerca de la velocidad que windows puede hacerlo?

Windows 7, python 2.6 (Realicé búsquedas pero la mayoría de las veces las personas usaban un método muy similar al mío) Gracias de antemano.

Answer 1

Usted está en desventaja.

Explorador de Windows es casi seguro que utiliza FindFirstFile/FindNextFile a ambos atraviesan la estructura de directorios y información a cobro revertido (a través de lpFindFileData) en una sola pasada, haciendo lo que es esencialmente una sola llamada al sistema por archivo.

Python no es desafortunadamente su amigo en este caso.Por lo tanto,

1. os.walkprimeras llamadas os.listdir (que llama internamente FindFirstFile/FindNextFile)
   • ninguna llamada de sistema adicionales hechas de este punto en adelante sólo se hará más lenta de Windows Explorer
2. os.walkluego llama a isdir para cada archivo devuelto por os.listdir (que llama internamente GetFileAttributesEx - o, antes de Win2k, un GetFileAttributes + FindFirstFile combo) para volver a determinar si se debe o no recursivo
3. os.walk y os.listdir llevará a cabo asignación de memoria adicional, cuerda y la matriz operaciones, etc., para llenar su valor de retorno
4. que continuación, llamar getsize para cada archivo devuelto por os.walk (que nuevo llamadas GetFileAttributesEx)

Eso es 3 veces más llamadas al sistema por archivo que Windows Explorer, más asignación de memoria y gastos generales de manipulación.

También se puede usar la solución de Anurag, o tratar de llamar FindFirstFile/FindNextFile directamente y de forma recursiva (que debe ser comparable con el rendimiento de un cygwin u otro win32 portdu -s some_directory.)

Consulte os.py para la ejecución de os.walk , posixmodule.c para la ejecución de listdir y win32_stat (invocada por tanto isdir y getsize.)

Tenga en cuenta que Python os.walk no es óptimo en todas las plataformas (Windows y * nices), hasta e incluyendo Python3.1. En Windows y * nices os.walk podría alcanzar el recorrido de una sola pasada sin llamar isdir ya que ambos FindFirst/FindNext (Windows) y opendir/readdir (* nix) ya volver tipo de archivo a través de lpFindFileData->dwFileAttributes (Windows) y dirent::d_type (* nix).

Quizás counterintuitively, en la mayoría de las configuraciones modernas (por ejemplo, Win7 y NTFS, e incluso algunas implementaciones de SMB) GetFileAttributesEx es dos veces tan lento como FindFirstFile de un solo archivo (posiblemente incluso más lento que la iteración en un directorio con FindNextFile.)

Actualización: Python 3.5 incluye la nueva función PEP 471os.scandir() que resuelve este problema devolviendo los atributos del archivo junto con el nombre del archivo. Esta nueva función se usa para acelerar el os.walk() incorporado (tanto en Windows como en Linux). Puede usar el scandir module on PyPI para obtener este comportamiento para las versiones anteriores de Python, incluido 2.x.

Answer 2

Si desea la misma velocidad que el explorador, ¿por qué no utilizar las secuencias de comandos de Windows para acceder a la misma funcionalidad mediante pythoncom, p.

import win32com.client as com 

folderPath = r"D:\Software\Downloads" 
fso = com.Dispatch("Scripting.FileSystemObject") 
folder = fso.GetFolder(folderPath) 
MB = 1024 * 1024.0 
print("%.2f MB" % (folder.Size/MB)) 

Funcionará igual que el explorador, puede leer más información sobre el tiempo de ejecución de secuencias de comandos en http://msdn.microsoft.com/en-us/library/bstcxhf7(VS.85).aspx.

Answer 3

Comparé el rendimiento del código de Python con un árbol de directorios de 15k que contiene 190k archivos y lo comparé con el comando du(1) que presumiblemente funciona tan rápido como el sistema operativo. El código de Python tomó 3.3 segundos comparado con du que tomó 0.8 segundos. Esto fue en Linux.

No estoy seguro de que haya mucho que exprimir del código de Python. Tenga en cuenta también que la primera ejecución de du tomó 45 segundos, lo que obviamente fue antes de que los i-nodes relevantes estuvieran en la memoria caché del bloque; por lo tanto, este rendimiento depende en gran medida de cuán bien el sistema está administrando su tienda. No me sorprendería si una o ambas:

1. os.path.getsize es sub-óptima en Windows
2. de Windows almacena en caché el contenido del directorio Tamaño vez calculados