如何用python編寫程序來處理文本流？

Question

如果這是一個重複的問題，我很抱歉。如何編寫一個python腳本來將數據作爲一行流處理？我需要這樣做，因爲我正在處理的文件是巨大的，我不想將文件讀入內存。

我知道您可以一次讀取文件的一行，但我想要處理文本流的東西。

Answer 1

您可以從stdin中讀取數據，如answer中所述。這看起來像在代碼：

for line in sys.stdin: 
    # do suff 

如果你想處理一個文件，然後就這樣調用腳本（在Unix平臺上）：當然管道輸出的

cat file.txt | python script.py 

你可以還有其他任何程序。

Answer 2

f = open('somefile.txt') 
for line in f: 
    process(line) 

其實f可以是任何東西是可迭代的，因此，例如字符串列表，甚至sys.stdin，如果你想從標準輸入讀取。

Answer 3

您的情況聽起來幾乎完全是the fileinput module的設計目的。這樣，你可以這樣做：

python script.py file1.txt file2.txt file3.txt file4.txt 

和script.py

import fileinput 
for line in fileinput.input(): 
    # do stuff here 

使用的FileInput的好處是，你可以做大致Space_C0wb0y建議增加一個破折號作爲第一個參數同樣的事情：

python script.py - < file.txt 

或

cat file.txt | python script.py - 

對Space_C0wb0y鏈接的問題的回答中提到了fileinput，我只是想明白它是如何被利用的。