何時將Airflow的執行程序從LocalExecutor升級到CeleryExecutor？

Question

我目前正在使用LocalExecutor運行多個Airflow DAG，並且它一直在正常工作。我的服務器有很多資源。我即將爲一個更大的項目添加一個新的DAG，我正在考慮從LocalExecutor切換到CeleryExecutor。

我的問題是，有什麼跡象表明我應該切換到CeleryExecutor？當我需要開始向外擴展時，是否應具備特定的性能指標？

Answer 1

如果您想運行少量併發任務，並且您的計劃需要這些任務可以運行一臺服務器，那麼LocalExecutor應該足夠了。當您覺得需要將作業分佈到多個服務器時，您應該考慮轉向CeleryExecutor。