來自Flink流的手動檢查點

Question

是否可以從Flink流作業觸發檢查點？

我的用例是：我有兩個流R和S加入翻滾時間窗口。來源是卡夫卡。我使用事件時間處理和BoundedOutOfOrdernessGenerator來確保來自兩個流的事件在同一個窗口中結束。

問題是我的狀態很大，有時定期檢查點需要的時間太長。起初，我想禁用檢查點，並依賴卡夫卡膠印。但亂序意味着我已經在當前偏移量的未來窗口中獲得了一些數據。所以我需要檢查點。

如果可以在清理窗口後觸發檢查點而不是定期檢查點，則效率會更高。也許在evictAfter方法。

這是否合理，是否有可能？如果不是，我會欣賞一項工作。

Answer 1

看來這裏的問題是檢查點效率。考慮使用帶有增量檢查點的RocksDB狀態後端，在文檔Debugging and Tuning Checkpoints and Large State下討論。