在HDFS上存儲WEKA jar文件並調用來自mapreduce的WEKA方法

Question

我們可以將weka.jar存儲在hdfs上，然後通過mapper和reducer類調用它的方法嗎？

假設我有大量的實例存儲在一個文件中，我想用WEKA對它們進行聚類。我可以讀取這些實例，然後從我的map-reduce程序中調用weka的SVM方法嗎？

Answer 1

您不需要手動將其存儲在HDFS上。相反，在運行作業時，可以使用-libjars jar1，jar2 ...選項來自動將所需的jar分發給所有映射器，並自動將這些jar包含在所有映射器的類路徑中。

另一種選擇（即使第一個選項代表標準）是將WEKA jar包含在hadoop安裝的lib目錄中。