如何在hadoop中安排作業

Question

我是hadoop的新手，我寫了幾個作業並將它們導出爲jar文件。我可以使用hadoop jar命令運行它們，我希望每隔一小時運行一次這些作業。我該怎麼做呢？提前致謝。

Answer 1

Hadoop本身沒有辦法按照您的建議安排工作。所以你有兩個主要的選擇，Java的時間和調度功能，或者從操作系統運行作業，我會建議Cron。我個人使用cron來做到這一點，它非常簡單且非常靈活，並且在大多數服務器上默認安裝。還有很多教程。

Cron示例在每小時的第一分鐘運行。

0 * * * * /bin/hadoop jar myJar.jar 

如果你想保持它的Java內部本身，我建議檢查出這個問題，其中有細節和代碼，How to schedule task for start of every hour。

Answer 2

你可以通過編寫一個cron或者一些腳本來實現。但在我看來，更好的方法是使用一些調度程序，如Oozie。

Answer 3

除了已經提到的Oozie，你可能想看看Falcon。

從自己的經歷，但是，一個更容易的方法是嘗試使用您的CI系統，以避免增加新的系統，你的籌碼，比如Jenkins

Answer 4

添加另一種選擇的cron & Oozie的，Quartz Scheduler