2014-03-14 57 views
1

安全關閉我的終端或關閉我的電腦而不殺死我的Hadoop作業?AWS EMR中的Hadoop:關閉終端殺死hadoop作業?

我正在通過Amazon Elastic Map Reduce上的集羣運行Hadoop作業。我有我的終端打開,在那裏我ssh'd到我的主節點。當我嘗試關閉終端時,我收到一條警告,說所有進程都會被終止。這是否會殺死我的Hadoop工作?或者我可以關閉我的電腦,並在稍後再次ssh?我需要一個特殊工具(如tmux)來做到這一點嗎?

如果很重要,我在Ubuntu 13.10中使用默認的(bin/bash)終端。我用Pig腳本開始了這項工作。

回答

1

不,你可以愉快地殺死終端。 mapreduce作業正在EMR集羣上運行,並將繼續這樣做。您可以回來,登錄到主節點,並隨時查看jotracker狀態lynx http://localhost:9100
要殺死Hadoop作業,您必須運行命令hadoop job -kill jobflowid
因此,切入點是 - 在任何時候您都可以登錄到jobtracker並查看您的工作狀態。同時請注意jobtracker的端口地址9100是EMR集羣上的默認值。
乾杯..

1

關閉終端不會殺死已經啓動的作業,您還可以從jobtracker查看作業狀態public url public-dns-of-cluster:9100/jobtacker.jsp。