os.walk/scandir網絡驅動器上的速度太慢

Question

我試圖在網絡驅動器O:\上找到所有.xlsm文件（並獲取它們的統計信息），前提是它們不在名爲Test的文件夾中。我正在使用os.walk並切換到scandir.walk，因爲它更快。我現在只受到網絡速度的限制。這段代碼似乎在腳本和網絡驅動器之間有很多交互。我的代碼如下。有沒有辦法加速這個可能使用批處理文件？我在Windows上。

from scandir import scandir, walk 
import sys 

def subdirs(path): 
    for path, folders, files in walk(path): 
     if 'Test' not in path: 
      for sub_files in scandir(path): 
       if '.xlsm' in sub_files.path: 
        yield subfiles.stat() 

for i in subdirs('O:\\'): 
    print i 

Answer 1

你被明確雙掃描每一條路徑，一旦隱含通過walk，然後再重新scandir荷蘭國際集團的pathwalk返回無緣無故。 walk已經返回files，所以內循環可避免雙重掃描通過只使用它被賦予了什麼：

def subdirs(path): 
    for path, folders, files in walk(path): 
     for file in files: 
      if '.xlsm' in file: 
       yield os.path.join(path, file) 

爲了解決問題，更新，你可能會想無論是複製現有scandir.walk代碼並修改它將返回list s的DirEntry s而不是list s的名稱，或者爲您的特定需求編寫類似的特殊套裝代碼;無論哪種方式，這將允許您避免雙重掃描，同時保持scandir的特殊低開銷行爲。例如：

def scanwalk(path, followlinks=False): 
    '''Simplified scandir.walk; yields lists of DirEntries instead of lists of str''' 
    dirs, nondirs = [], [] 
    for entry in scandir.scandir(path): 
     if entry.is_dir(follow_symlinks=followlinks): 
      dirs.append(entry) 
     else: 
      nondirs.append(entry) 
    yield path, dirs, nondirs 
    for dir in dirs: 
     for res in scanwalk(dir.path, followlinks=followlinks): 
      yield res 

然後，您可以取代你的walk有像這樣使用（我還補充說，在他們Test，因爲根據他們的所有目錄和文件梅乾目錄將被拒絕你的原碼的代碼，但你還是會遍歷這些不必要的）：

def subdirs(path): 
    # Full prune if the path already contains Test 
    if 'Test' in path: 
     return 
    for path, folders, files in scanwalk(path): 
     # Remove any directory with Test to prevent traversal 
     folders[:] = [d for d in folders if 'Test' not in d.name] 
     for file in files: 
      if '.xlsm' in file.path: 
       yield file.stat() # Maybe just yield file to get raw DirEntry? 

for i in subdirs('O:\\'): 
    print i 

順便說一句，你可能要仔細檢查是否已正確安裝/內置的C加速器scandir，_scandir。如果_scandir未構建，則scandir模塊使用​​提供回退實現，但它們明顯較慢，這可以解釋性能問題。嘗試在交互式Python會話中運行import _scandir;如果它提高了ImportError，那麼你沒有加速器，所以你正在使用緩慢的回退實現。