帶點火花的列名​​稱

Question

我試圖從DataFrame取得列並將其轉換爲RDD[Vector]。

的問題是，我已經列在他們的名字一個「點」爲以下數據集：

"col0.1","col1.2","col2.3","col3.4" 
1,2,3,4 
10,12,15,3 
1,12,10,5 

這是我在做什麼：

val df = spark.read.format("csv").options(Map("header" -> "true", "inferSchema" -> "true")).load("C:/Users/mhattabi/Desktop/donnee/test.txt") 
val column=df.columns.map(c=>s"`${c}`") 
val rows = new VectorAssembler().setInputCols(column).setOutputCol("vs") 
    .transform(df) 
    .select("vs") 
    .rdd 
val data =rows.map(_.getAs[org.apache.spark.ml.linalg.Vector](0)) 
    .map(org.apache.spark.mllib.linalg.Vectors.fromML) 

val mat: RowMatrix = new RowMatrix(data) 
//// Compute the top 5 singular values and corresponding singular vectors. 
val svd: SingularValueDecomposition[RowMatrix, Matrix] = mat.computeSVD(mat.numCols().toInt, computeU = true) 
val U: RowMatrix = svd.U // The U factor is a RowMatrix. 
val s: Vector = svd.s // The singular values are stored in a local dense vector. 
val V: Matrix = svd.V // The V factor is a local dense matrix. 

println(V) 

請任何幫助讓我考慮他們的名字中有圓點的列。謝謝

Answer 1

這裏的問題是VectorAssembler的實現，而不是列本身。例如，您可以忽略標題：

val df = spark.read.format("csv") 
    .options(Map("inferSchema" -> "true", "comment" -> "\"")) 
    .load(path) 

new VectorAssembler() 
    .setInputCols(df.columns) 
    .setOutputCol("vs") 
    .transform(df) 

或傳遞到VectorAssembler之前重命名列：

val renamed = df.toDF(df.columns.map(_.replace(".", "_")): _*) 

new VectorAssembler() 
    .setInputCols(renamed.columns) 
    .setOutputCol("vs") 
    .transform(renamed) 

最後，最好的辦法是明確規定的模式：

import org.apache.spark.sql.types._ 

val schema = StructType((0 until 4).map(i => StructField(s"_$i", DoubleType))) 

val dfExplicit = spark.read.format("csv") 
    .options(Map("header" -> "true")) 
    .schema(schema) 
    .load(path) 

new VectorAssembler() 
    .setInputCols(dfExplicit.columns) 
    .setOutputCol("vs") 
    .transform(dfExplicit)