Spark不會從netlib加載ARPACK或BLAS

Question

我正在爲我的數據計算SVD。但每當我提出用​​日誌文件狀態星火應用：

WARN ARPACK/BLAS: Failed to load implementation from: com.github.fommil.netlib.NativeSystemARPACK/BLAS 

我建立的Spark與-Pnetlib-lgpl標誌，並且還包括在我的SBT文件的NETLIB依賴創建的jar文件時：

libraryDependencies ++= Seq(
    "org.apache.spark" % "spark-core_2.10"    % "1.5.0" % "provided", 
    "org.apache.spark" % "spark-mllib_2.10"    % "1.3.0", 
    "com.github.fommil.netlib" % "all" % "1.1.2"  pomOnly() 
) 

GCC和Gfortran版本是gcc version 4.8.0 (GCC)。我也裝BLAS，LAPACK和ATLAS和遵循的NETLIB站點上的說明：https://github.com/fommil/netlib-java

在spark-shell當我導入爲import com.github.fommil.netlib._，沒有跡象顯示是因爲它未導入。

我試圖調試這個問題一段時間了，現在我不知道了。有人會幫我解決這個問題。

Answer 1

這是一個已知的痛點。

我已經成功地跟着@https://github.com/PasaLab/marlin/issues/1說明得到這個可怕的東西在星火的1.4.x/1.5.x版與英特爾MKL工作

我認爲有大約一個地方，你將不得不調整的說明與ATALAS聯繫，但它應該是可行的。