基於模型的增量式異常值檢測

Question

我正在處理流式數據（使用Java和Apache Flink），我想執行異常值檢測。我有一個網絡，每個傳感器接收流。 然後，他們將其流的採樣版本發送到組合所有樣本並生成全局模型的「領導者」節點。

之後，它將全局模型發送給每個孩子。孩子們將使用這個模型來檢測異常值。 這必須以連續的方式發生（即每次領導者接收x個樣本時，其更新模型並廣播它）。

我發現的論文/方法遇到的問題是，爲了構建模型，我需要擁有所有數據，這是不可能的。領導者也不可能存儲它收到的所有樣本。

我寫了一個小例子：

傳感器A接收到一些數據並將其發送到領導

傳感器B接收的一些數據並將其發送到領導

領域的領導者使用收到值來構建廣播的模型。

兩個傳感器接收其他數據，對於每個值，他們使用接收到的模型執行異常值檢測。 然後他們將新數據發送給領導。

領導者更新模型並將新的更新模型發送給子女。

我可以使用哪種方法來獲得這樣的行爲？

Answer 1

解決這個問題的方法是讓領導將模型更新寫入Kafka主題，並讓A和B讀取來自Kafka的模型更新（除傳感器流之外）。

更新：

一個相當簡單的算法，用於檢測孤立點/異常那是非常適合於流是叔消化（是的，它的工作原理增量）。 This page from mapr會帶你到更多的信息。