將reducer輸出目錄路徑保存到Hadoop中的變量中

該變量將被所有其他MR作業使用。

這些工作將是連續的。

所有順序MR作業都會將其相應的輸出寫入該輸出目錄。

我需要他們的路徑變量進行相應的更新。

2011-05-30 Kal

也許我誤解你，但你希望所有MR作業輸出到同一個目錄？你不能那樣做;作業的輸出目錄必須爲空。 – ajduff574 2011-05-31 14:59:33

或者你想連鎖一起工作，其中一個的輸出是下一個的輸入？ – ajduff574 2011-05-31 15:00:30

您是從shell還是從java程序提交？ – 2011-05-31 18:29:40

看看「Oozie」。這是一個Hadoop工作流程引擎，它允許您描述的內容。多個作業可以將其「輸入」作爲上一份作業的「輸出」。

還有其他解決方案，如「級聯」API。

http://www.concurrentinc.com/products/ http://yahoo.github.com/oozie/releases/2.0.0/#Quick_Start

2011-05-31 18:13:24

謝謝Jeremy但問題是我不能使用「級聯」，但我會嘗試使用Oozie。目前，我正在使用簡單的Hadoop代碼來解決問題，如果它不起作用我將使用Oozie。 – Kal 2011-06-01 08:22:12

回答