Hadoop MapReduce程序在Eclipse中運行良好，但在導出爲.jar文件時運行不正常

Question

在Eclipse中，我從三個目錄添加外部庫。 hadoop中的lib目錄，hbase中的lib目錄以及Eclipse項目中的其他jar文件中的兩個本地目錄。當執行導出的jar文件時，我得到一個與hbase相關的ClassNotFoundException。我確定這是我的外部庫的問題。

我執行程序就是這樣：

hadoop jar /home/brunneis/Escritorio/mr.jar Principal -libjars /bigdata/hbase/lib/*.jar,/home/brunneis/workspace/MapReduce/lib/*.jar,/home/brunneis/workspaces/MapReduce/lib1.1.2/*.jar 

在hadoop-env.sh文件我也加入這一行：

export HADOOP_CLASSPATH="/bigdata/hbase/lib/*.jar;/home/brunneis/workspace/MapReduce/lib/*.jar;/home/brunneis/workspace/MapReduce/lib1.1.2/*.jar" 

而這就是我得到：

Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/HBaseConfiguration 
at Principal.main(Principal.java:27) 
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) 
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57) 
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) 
at java.lang.reflect.Method.invoke(Method.java:606) 
at org.apache.hadoop.util.RunJar.main(RunJar.java:160) 
Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.hbase.HBaseConfiguration 
    at java.net.URLClassLoader$1.run(URLClassLoader.java:366) 
    at java.net.URLClassLoader$1.run(URLClassLoader.java:355) 
    at java.security.AccessController.doPrivileged(Native Method) 
    at java.net.URLClassLoader.findClass(URLClassLoader.java:354) 
    at java.lang.ClassLoader.loadClass(ClassLoader.java:425) 
    at java.lang.ClassLoader.loadClass(ClassLoader.java:358) 
... 6 more 

非常感謝。

Answer 1

NoClassDefFoundError出現在運行時不可見的類，但在編譯時。這可能與JAR文件有關，因爲沒有包含所有必需的類文件。關於你的情況下面的帖子可能會幫助你。

HBase - java.lang.NoClassDefFoundError in java

粘貼從上面的鏈接的答案。

這是Hbase客戶端Java程序，您不應該使用「hadoop」運行它。它應該是一個標準的jar程序運行風格，如：java -jar yourjar.jar

當您使用「> jar -cvf TestHBase.jar -C TestHBase /」時，它不保證jar依賴關係可以在運行時發現，你面對它。

在eclipse中，jar導出函數可以選擇「Runable」jar。

因此，建議你單獨運行你的測試類，明確指出依賴的jar。