GetFile處理器在Apache NiFi中持續運行

Question

我使用Apache NiFi將一些本地文件複製到HDFS。 我創建了一個GetFile處理器綁定到PutHDFS處理器。 GetFile處理器遞歸查詢只讀目錄。我遇到的問題是文件不斷被複制，例如，如果我刪除HDFS上覆制的文件，那麼它們很快就會重新出現。

在GetFile處理器配置，我設置Keep Source File到真正，因爲該目錄是隻讀的，它是在documentation指定只讀的目錄，如果這個參數設置爲假然後文件被忽略：

如果爲true，則該文件在複製到內容存儲庫後不會被刪除;這會導致文件不斷被拾取 並且對於測試目的很有用。如果不保留原始的NiFi將 需要對其正在從其他地方提取的目錄寫入權限 它將忽略該文件。

是否可以簡單地複製每個文件一次？

Answer 1

您可以使用ListFile和FetchFile處理器來執行此操作。 ListFile將跟蹤到目前爲止所看到的文件，並且不會繼續列出它們，除非它們已被修改。確保您將FetchFile中的完成策略設置爲「無」，以確保不會嘗試移動/刪除文件。