在使用scala的機器學習管道中沒有這樣的元素異常

Question

我想在Spark中使用Scala實現ML管道，並且我使用Spark網站上提供的示例代碼。我正在使用SQlContext包中提供的函數將我的RDD[labeledpoints]轉換爲數據框。它給了我一個NoSuchElementException：

代碼段：

錯誤消息：

錯誤在該行Pipeline.fit(training_df)

Answer 1

Vector你有你的for循環（prob: Vector）內的類型取一個類型參數;例如Vector[Double],Vector[String]等。您只需指定您的矢量將存儲的數據類型。

作爲網站說明：您使用的單參數重載版本createDataFrame()似乎是experimental。如果您打算將其用於某個長期項目。

Answer 2

你的代碼片段中的管道當前是空的，所以沒有什麼適合的。您需要使用.setStages()指定階段。請參閱spark.ml文檔here中的示例。