安排Google Cloud Dataflow作業的最簡單方法

Question

我只需要每天運行一個數據流管道，但在我看來，像App Engine Cron Service這樣需要構建整個Web應用程序的建議解決方案似乎有點太多了。 我在考慮從計算引擎Linux虛擬機中的cron作業運行管道，但也許這太簡單了:)。這樣做的問題是什麼，爲什麼沒有人（除了我猜測）暗示它？

Answer 1

使用cron作業啓動數據流管道絕對沒有錯。我們一直爲我們的生產系統做這件事，無論是我們的Java還是Python開發的管道。不過，我們正試圖擺脫cron作業，並更多地轉向使用AWS Lambdas（我們運行多雲）或Cloud Functions。不幸的是，Cloud Functions don't have scheduling yet。 AWS Lambdas do。