在scala play框架中找不到Hadoop MR映射器類

Question

我試圖在Play 2.0.1 scala中運行MR作業，但無法獲取作業類路徑中加載的映射器類。每次我在hadoop上運行這個工作時，我都會得到一個classnotfoundexception。我已經添加了（以幾種不同的方式）引用類以加載相應的jar，但沒有成功。任何線索將不勝感激。

謝謝！ -carlos。

Answer 1

我假設你從開發模式運行MR作業。從玩遊戲開發模式運行MR作業有幾個問題。其中一個問題是在TaskTracker節點上找不到mapper/reducer類，因爲mapper/reducer的jar還沒有創建。這裏是我的解決方案：

http://ben-tech.blogspot.com/2013/04/run-mapreduce-in-play-development-mode.html

另一個問題是由遊戲運行命令中使用的類加載器引起的。運行命令創建一個只有依賴關係JAR的類加載器，以便在使用Class.forName時類不在類路徑中。我還沒有解決方案。