如何將一列數據轉換爲使用Spark Scala的矢量

Question

我正在使用Spark，Scala處理數據。我有一個問題無法弄清楚。我有一個數據幀，這是一列：

data 
1 
2 
3 
4 
5 

我希望它一個向量 [1.0,2.0,3.0,4.0,5.0]

我怎樣才能實現呢？我試過 df.collect().toVector或rdd.foreach，但每次它向我返回矢量數組[1,0]，[2.0]，[3.0]，[4.0]，[5.0]，而不是一個單獨的矢量。

Answer 1

發生這種情況是因爲當collect數據幀時，您會得到一行數組。您需要從行對象中提取值。

df.collect().map(x => x.getDouble(0)).toVector