連續解析由另一個進程更新的CSV文件

Question

如果我有一堆csv文件，它們會定期更新。 比方說，CSV文件是：

file1.csv, file2.csv file3.csv 

在更新過程中，數據被追加到csv文件的最後一行。

是否可以讀取csv文件中的數據，並將其更新並存儲在array或collection(deque)中。

有沒有辦法在csv文件更新時收集數據？

Answer 1

您可以使用名爲Watchdog的python程序包。

這個例子顯示遞歸地監視當前目錄中的文件系統的變化，並記錄任何控制檯：

import time 
from watchdog.observers import Observer 
from watchdog.events import LoggingEventHandler 

if __name__ == "__main__": 
    event_handler = LoggingEventHandler() 
    observer = Observer() 
    observer.schedule(event_handler, path='.', recursive=True) 
    observer.start() 
    try: 
     while True: 
      time.sleep(1) 
    except KeyboardInterrupt: 
     observer.stop() 
    observer.join() 

你可以結合伊格納西奧的答案用這個 - 使用file_pointer.tell()獲得在當前位置文件，然後seek()下一次，並閱讀文件的其餘部分。例如：

# First time 
with open('current.csv', 'r') as f: 
    data = f.readlines() 
    last_pos = f.tell() 

# Second time 
with open('current.csv', 'r') as f: 
    f.seek(last_pos) 
    new_data = f.readlines() 
    last_pos = f.tell() 

Answer 2

將文件的當前大小與文件中的當前偏移量進行比較。如果尺寸較大，請閱讀新數據。