Flink批處理數據處理

Question

我正在評估Flink的一些批處理數據。舉個簡單的例子說，我有2000點，我想通過使用scipy提供的功能通過FIR濾波器。 scipy過濾器是一個簡單的函數，它接受一組係數和數據以過濾並返回數據。是可以創建一個轉換來處理這個在Flink？看起來Flink轉換是逐點應用的，但我可能會錯過一些東西。

Answer 1

這應該是可以的。 Flink已經有一個Python API (beta)您可能想要使用。

關於你的第二個問題：Flink可以逐點應用功能，也可以做其他的事情。這取決於你定義的功能是什麼。例如，每個記錄應用filter,project,map,flatMap; max,min,reduce等適用於一組記錄（這些組是通過groupBy定義的）。也可以使用join,cross或cogroup加入來自不同數據集的數據。請查看文檔中可用轉換的列表：https://ci.apache.org/projects/flink/flink-docs-release-1.0/apis/batch/dataset_transformations.html