針對構建基於hadoop的數據管道的調度工具的建議

Question

在Apache Oozie，Spotify/Luigi和airbnb/airflow之間，他們每個人有什麼優點和缺點？

我過去曾經使用oozie和airflow來構建使用PIG和Hive的數據攝入管道。目前，我正在構建一個查看日誌並提取有用事件並將其置於紅移的管道。

我發現氣流更容易使用/測試/設置。它有一個更酷的用戶界面，並允許用戶從用戶界面本身執行操作，這與Oozie不同。歡迎任何有關Luigi或其他有關穩定性和問題的見解。

Answer 1

• Azkaban：漂亮的UI，相對簡單，非程序員可以訪問。在LinkedIn有悠久的歷史。
  • 檢查出Azkaban CLI項目的程序化作業創建。我在GitHub上有一個Azkaban example workflows項目。
• 氣流：體面的UI，Python-ish作業定義，非程序員半訪問，依賴聲明語法很奇怪。
• Luigi：確定UI，工作流程是純Python，需要牢固掌握Python編碼和麪向對象的概念，因此不適合非程序員。 Oozie：瘋狂的基於XML的作業定義。這裏是龍。 ;-)

恕我直言，Azkaban強制執行簡單性（不能使用不存在的功能），其他人則巧妙地鼓勵複雜性。

更簡單的管道比複雜的管道更好：創建更容易，更容易理解（特別是當你沒有創建時），更容易調試/修復。

當需要複雜的操作時，您希望以完全成功或完全失敗的方式封裝它們。

如果你可以使它冪等（再次運行它會產生相同的結果），那就更好了。

Answer 2

這篇文章會給你一個最初的想法有關不同可能的工作流程

http://bytepawn.com/luigi-airflow-pinball.html