在Python中使用數據源創建多個文件

Question

我有一個我正在Python中使用的數據源。我想將這些數據保存到一個文件中，一旦達到閾值（即：1K，1M），文件關閉，並自動打開一個新文件以保存數據。

即：

<file handler with buffer 200> 
file.write('a'*1000) 

的線的上方將生成基於所述數據的5個文件。是否有一個預處理的Python庫可以處理這個問題，還是我需要自己寫一個？

Answer 1

如果一個記錄器框架是太多了，你可以做自己 - 不應該需要比十幾行代碼或讓更多。獲取文件大小的最簡單方法是調用打開文件描述符的tell()方法。

您也可以跟蹤正在輸出的字節，但如果您的程序有時附加到預先存在的文件，則需要額外的邏輯。

Answer 2

pypi的快速搜索帶來了this這可能會做你想做的，但否則我會建議你自己寫，它會是一個相當簡單的工具來編寫。

我還沒有測試過，但這裏有一個非常簡單的實現，應該這樣做（python3）。

class RotatingFile: 

    def __init__(self, basename, size, binary=False): 
     self.basename = basename 
     self.size = size 
     self.counter = 0 
     if binary: 
      self.buffer = b'' 
     else: 
      self.buffer = '' 

    def write(self, data) 
     self.buffer += data 
     if len(self.buffer) >= self.size: 
      data = self.buffer[:self.size] 
      self.buffer = self.buffer[self.size:] 
      name = self.basename + str(self.counter) 
      with open(name) as f: 
       f.write(data) 
      self.counter += 1 

    def flush(self): 
     name = self.basename + str(self.counter) 
     with open(name) as f: 
      f.write(self.buffer) 

所以這應該寫信給6個文件：

>>> f = RotatingFile('myfile', 1000) 
>>> f.write('a' * 5500) 
>>> f.flush()