Hadoop環境變量

Question

我試圖在Mac上調試單個節點Hadoop集羣的一些問題。在所有的設置文檔，它說補充：

export HADOOP_OPTS="-Djava.security.krb5.realm=OX.AC.UK -Djava.security.krb5.kdc=kdc0.ox.ac.uk:kdc1.ox.ac.uk" 

刪除此錯誤：

Unable to load realm info from SCDynamicStore 

這工作，但似乎只爲STDOUT工作。當我檢查我的Hadoop日誌目錄下的「工作 - ###/atempt _ ### /標準錯誤」的錯誤仍然存​​在：

2013-02-08 09:58:23.662 java[2772:1903] Unable to load realm info from SCDynamicStore 

我有很大的困難加載RVM紅寶石到Hadoop的環境中執行帶有Hadoop流的Ruby代碼。 stdout是打印該RVM被加載並使用正確的Ruby /寶石，但我STDERR日誌：

env: ruby_noexec_wrapper: No such file or directory 

有一些方法來找出Hadoop的實際使用什麼路徑來執行工作，或者如果它的調用其他一些這裏的環境？

更多背景：

我正在使用通過Homebrew安裝的Hadoop 1.1.1。它的設置方式與「INSTALLING HADOOP ON MAC OSX LION」非常相似，並且將wukong 3.0.0的實現作爲執行Hadoop作業的包裝進行調試。

Answer 1

回答我自己的問題，讓他人可以找到它。

我似乎要在我的hadoop-env中加載rvm，但在添加它之後，我必須沒有重新啓動羣集。爲了確保您的rubies和gemset已加載，請將標準rvm子句添加到hadoop-env.sh。例如：

[[ -s "/Users/ScotterC/.rvm/scripts/rvm" ]] && source "/Users/ScotterC/.rvm/scripts/rvm" 

並確保重新啓動集羣，以便它能夠啓動它。奇怪的是，沒有重新啓動，我的日誌會顯示它正在加載rvm，但它顯然沒有執行該紅寶石，它是相應的gemfiles。重新啓動後，它工作。