異步文件IO在多線程應用程序具有可變折射率

Question

在我的計劃之一，我有以下方法：

def set_part_content(self, part_no, block_no, data): 
    with open(self.file_path, "rwb+") as f: 
     f.seek(part_no * self.constant1 + block_no * self.constant2) 
     f.write(data) 

我這樣做是這種方式，因爲以下內容：

• 我必須寫在不同的索引（之所以f.seek在這裏）
• 並且此函數是線程安全的（感謝with語句）

我的問題是這個函數被稱爲大約10k到100k次，而且由於打開/關閉時間，顯然它確實非常慢（它代表了我最關鍵的一組功能的一半執行時間）。

由於f.seek，我無法直接在__init__函數中打開文件以便對其進行操作（如果2個線程同時使用該函數，則會導致這兩個函數之一的索引不正確，這是至關重要的）。

有沒有可以加速此功能的模塊/方式？

Answer 1

我不熟悉python，所以我不確定with語句是否會使這個函數線程安全或不安全。

如果是這樣，則不會有2個線程同時使用該函數。

如果沒有，你的函數不是線程安全的。您需要鎖定以確保線程安全。你可以檢查implementing file locks using Python's with statement。另一個選擇是使這個函數異步，並讓單線程來處理所有的寫入。