Apache NiFi通過遠程進程組的不規則數據流

Question

我正在評估Apache NiFi用於項目。我有NiFi v1.1.2的四個實例運行於雲上Ubuntu 14系統。其中三個實例充當遠程進程組（R1,R2 & R3），其餘實例（M1）用於管理RPG之間的流。 M1生成一個FlowFile，通過由三個RPG組成的管道傳遞FlowFile，並在最後記錄FlowFile。每個RPG只需將R{id}附加到FlowFile中的10 ProcessedBy屬性中，因此可以輕鬆看到處理數據的順序。

我遇到的問題是訂單沒有按預期100％的時間。我使用2個流水線（P1 & P2），它們分別以R1->R2->R3和R2->R1->R3的順序遍歷RPG。 我所看到的是〜的FlowFile在P1不受R2處理，而在P2實際上調轉方向，由R2因此流程順序變爲兩次處理時間的50％R2->R1->R2->R3

編輯：

這是我流的M1

Answer 1

的圖像，我不相信遠程過程組表現有一種「功能的語義」你期待的。奇怪的flowfile流量模式正在發生，因爲來自流程左側的流程文件正在從右側（和相反）的RPG輸出中出現，但這對於RPG輸出端口來說是正確的行爲。

從一個輸入端口向遠程流發送流文件並不能保證它將通過同一RPG圖節點上的輸出端口「返回」。遠程輸出端口的多個監聽器將分別接收輸出的一部分。將RPG輸入與其輸出進行可視化連接是典型的，推薦的，並且可以說是組織流程的最明顯的方式。但這不是必需的。

您可以在遠程NiFis上創建不同的命名端口，爲您提供更多的遠程輸入/輸出選項。

我僅使用兩個NiFi進行了樣本流程，其中node1.nifi發送到node2.nifi上的遠程進程組並從遠程進程組接收數據。 我組織了流程以強調RPG輸入和輸出端口之間的潛在斷開關係。

三個RPG圖形節點的所有引用在node2.nifi同一RPG，但輸入和輸出分離。產量在兩個地點收到，導致分配略有不平等。