如何安排定期flink批處理

Question

我有一個java應用程序，它通過查詢表中的數據庫並將其提供給kafka主題獲得批量的flink批處理。我將如何定期進行這項計劃。有沒有flink調度程序？例如，我的Java應用程序應該繼續在後臺運行，並且flink調度程序應該定期查詢數據庫中的表，並且flink批處理它並將其輸入到kafka中（flink批處理和饋入kafka已經完成了我的應用程序的一部分）。如果有人有指示，請幫助。

Answer 1

Flink不提供作業調度程序。

您是否考慮過使用連續運行的Flink DataStream應用程序來實現用例？您可以實施定期查詢數據庫的SourceFunction。

連續流應用程序具有移動部件較少（無調度程序，如果出現問題時不失敗處理）以及跨「批處理」邊界的一致視圖的優點。不利的一面是作業總是消耗資源（Flink無法在低負載下自動縮小）。