在大型搜索/替換操作中PowerShell比較慢（比Python慢​​得多）？

Question

我有265個CSV文件，總記錄數超過400萬（行），需要在所有CSV文件中進行搜索和替換。我有我的PowerShell代碼下面，這是否一個片段，但它需要17分鐘，進行動作：

ForEach ($file in Get-ChildItem C:\temp\csv\*.csv) 
{ 
    $content = Get-Content -path $file 
    $content | foreach {$_ -replace $SearchStr, $ReplaceStr} | Set-Content $file 
} 

現在我有以下Python代碼，做同樣的事情，但時間不超過1分鐘進行：

import os, fnmatch 

def findReplace(directory, find, replace, filePattern): 
    for path, dirs, files in os.walk(os.path.abspath(directory)): 
     for filename in fnmatch.filter(files, filePattern): 
      filepath = os.path.join(path, filename) 
      with open(filepath) as f: 
       s = f.read() 
      s = s.replace(find, replace) 
      with open(filepath, "w") as f: 
       f.write(s) 

findReplace("c:/temp/csv", "Search String", "Replace String", "*.csv") 

爲什麼Python方法更高效？我的PowerShell代碼效率不高，還是Python在文本操作方面只是一種更強大的編程語言？

Answer 1

嘗試使用此PowerShell腳本。它應該表現得更好。在緩衝流中讀取文件時，也少用RAM。

$reader = [IO.File]::OpenText("C:\input.csv") 
$writer = New-Object System.IO.StreamWriter("C:\output.csv") 

while ($reader.Peek() -ge 0) { 
    $line = $reader.ReadLine() 
    $line2 = $line -replace $SearchStr, $ReplaceStr 
    $writer.writeline($line2) 
} 

$reader.Close() 
$writer.Close() 

此處理一個文件，但你可以用它測試性能，如果它更容易接受它添加到一個循環。

或者，您可以使用Get-Content將大量行讀入內存，執行替換，然後使用PowerShell管道寫入更新的塊。

Get-Content "C:\input.csv" -ReadCount 512 | % { 
    $_ -replace $SearchStr, $ReplaceStr 
} | Set-Content "C:\output.csv" 

擠出更多一點的表現也可以編譯正則表達式（-replace使用正則表達式）是這樣的：

$re = New-Object Regex $SearchStr, 'Compiled' 
$re.Replace($_ , $ReplaceStr) 

Answer 2

我不知道Python，但它看起來像你正在做的字面Python腳本中的字符串替換。在Powershell中，-replace運算符是一個正則表達式搜索/替換。我會將Powershell轉換爲在字符串類中使用替換方法（或者回答原始問題，我認爲您的Powershell效率低下）。

ForEach ($file in Get-ChildItem C:\temp\csv\*.csv) 
{ 
    $content = Get-Content -path $file 
    # look close, not much changes 
    $content | foreach {$_.Replace($SearchStr, $ReplaceStr)} | Set-Content $file 
} 

編輯經進一步審查，我想我看到了另一個版本（也許更重要的）區別。 Python版本似乎正在將整個文件讀取到一個單個字符串。另一方面，Powershell版本正在讀入字符串數組。

Get-Content上的幫助提到ReadCount參數可能會影響性能。將此計數設置爲-1似乎將整個文件讀取到單個數組中。這將意味着你傳遞一個數組通過管道，而不是單獨的字符串，但對代碼的簡單變化將處理是：

# $content is now an array 
$content | % { $_ } | % {$_.Replace($SearchStr, $ReplaceStr)} | Set-Content $file 

如果您想將整個文件讀入像一個字符串Python版本似乎，只需調用.NET方法直接：

# now you have to make sure to use a FULL RESOLVED PATH 
$content = [System.IO.File]::ReadAllText($file.FullName) 
$content.Replace($SearchStr, $ReplaceStr) | Set-Content $file 

這是不是很「PowerShell的Y」因爲你直接使用.NET的API，而不是類似的cmdlet，但他們把能力有些時候你需要它。

Answer 3

我看到這個有很多：

$content | foreach {$_ -replace $SearchStr, $ReplaceStr} 

的-replace運算將處理整個數組一次：

$content -replace $SearchStr, $ReplaceStr 

並且比在同一時間通過一個元素的迭代速度快了很多。我懷疑這樣做可能會讓你更接近蘋果與蘋果的比較。

Answer 4

你可能想嘗試使用以下命令：

gci C:\temp\csv\*.csv | % { (gc $_) -replace $SearchStr, $ReplaceStr | out-file $_} 

此外，某些字符串可能需要轉義字符，因此你應該使用[正則表達式]逃出來生成與內置的轉義字符的字符串代碼會。看起來像：

gci C:\temp\csv\*.csv | % { (gc $_) -replace $([regex]::Escape($SearchStr)) $([regex]::Escape($ReplaceStr)) | out-file $_} 

Answer 5

其實，我現在面臨類似的問題。隨着我的新工作，我必須解析巨大的文本文件來根據特定標準提取信息。 PowerShell腳本（針對邊緣進行了優化）需要4個小時才能返回完整處理的csv文件。我們寫了另一個Python腳本，花了不到1小時... ...

儘管我喜歡powershell，但我心碎了。爲了您的娛樂，試試這個： PowerShell的：

$num = 0 
$string = "Mary had a little lamb" 

while($num -lt 1000000){ 
    $string = $string.ToUpper() 
    $string = $string.ToLower() 
    Write-Host $string 
    $num++ 
} 

的Python：

num = 0 
string = "Mary had a little lamb" 

while num < 1000000: 
    string = string.lower() 
    string = string.upper() 
    print(string) 
    num+=1 

，並觸發兩個作業。您甚至可以封裝在Measure-command {}中以保持其「科學」。

此外，link，瘋狂讀..