Python文件每次打開/關閉與保持打開狀態直到完成過程

Question

我有大約50 GB的文本文件，我正在檢查每行的前幾個字符，並將這些字符寫入指定用於該起始文本的其他文件。

例如。 我輸入包含：

cow_ilovecow 
dog_whreismydog 
cat_thatcatshouldgotoreddit 
dog_gotitfromshelter 
............... 

所以，我要處理他們在牛，狗和貓（約200）類別 所以，

if writeflag==1: 
    writefile1=open(writefile,"a") #writefile is somedir/dog.txt.... 
    writefile1.write(remline+"\n") 
    #writefile1.close() 

那麼，什麼是最好的方式，我應該關？否則，如果我保持開放，是writefile1=open(writefile,"a")做正確的事情？

Answer 1

你一定要嘗試打開/關閉文件儘可能少

因爲即使文件讀/寫的比較，文件打開/關閉是昂貴得多

考慮兩個代碼塊：

f=open('test1.txt', 'w') 
for i in range(1000): 
    f.write('\n') 
f.close() 

和

for i in range(1000): 
    f=open('test2.txt', 'a') 
    f.write('\n') 
    f.close() 

第一個就是0.025s而第二個需要0.309s

Answer 2

讓它一直開着！否則，你告訴系統你已經完成了寫操作，它可能決定將其刷新到磁盤上而不是緩衝它。並且由於顯而易見的原因n磁盤寫入比磁盤寫入貴得多。

如果你想附加到文件，而不覆蓋它然後是的，a是正確的模式。

Answer 3

使用with語句時，它會自動關閉該文件爲你做的所有操作with塊內，所以它會繼續爲你打開文件，一旦你走出with塊將關閉文件。

with open(inputfile)as f1, open('dog.txt','a') as f2,open('cat.txt') as f3: 
    #do something here 

編輯： 如果你知道要使用所有可能的文件名代碼的編譯，然後使用with之前是一個更好的選擇，如果你不這樣做，那麼你應該用你的方法，但不是關閉文件即可flush將數據寫入文件使用writefile1.flush()

Answer 4

IO操作消耗的時間太多。也打開並關閉文件。

如果您打開兩個文件（輸入和輸出），使用內存緩衝區（例如10MB大小）進行文本處理，然後將其寫入輸出文件，速度會更快。例如：

file = {} # just initializing dicts 
filename = {} 
with open(file) as f: 
    file['dog'] = None 
    buffer = '' 
    ... 
    #maybe there is a loop here 
    if writeflag: 
     if file['dog'] == None: 
      file['dog'] = open(filename['dog'], 'a') 
     buffer += remline + '\n' 
    if len(buffer) > 1024*1000*10: # 10MB of text 
     files['dog'].write(buffer) 
     buffer = '' 

for v in files.values(): 
    v.close()