有沒有簡單的方法來保持mappers和reducer在特定時間運行？

Question

對於某些測試目的，我想要一個地圖縮減作業，最多可以運行1小時，至少50分鐘。實際的處理是完全不相關的。

我不知道是否有任何API可以幫助我實現這一目標。理想情況下，我希望生成一些假數據，直到超過時限。

P.S. ：這個問題只是爲了學術興趣。我完全意識到Map Reduce可能不是爲了這些用例而設計的。

Answer 1

您可以使用配置對象

conf.set("mapreduce.task.timeout",3600000); // change the time limit to 1h 

工作後的規定時間是從將被殺害設置的最大時間限制的工作。

Answer 2

我不知道Hadoop是否可能。

但通常在Linux中，您使用crontab進行計劃任務。

只需在crontab中設置兩個預定命令即可。 50分鐘後停止Hadoop的特別工作

1. 啓動Hadoop的工作
2. 。