Scala Spark：動態分割數據幀列

Question

我對scala和spark非常陌生。

我看過一個文本文件轉換成一個數據幀，單柱成功拆分成多列（主要是該文件是空格分隔CSV）

val irisDF:DataFrame = spark.read.csv("src/test/resources/iris-in.txt") 

    irisDF.show() 

    val dfnew:DataFrame = irisDF.withColumn("_tmp", split($"_c0", " ")).select(
    $"_tmp".getItem(0).as("col1"), 
    $"_tmp".getItem(1).as("col2"), 
    $"_tmp".getItem(2).as("col3"), 
    $"_tmp".getItem(3).as("col4") 
).drop("_tmp") 

這工作。

但是如果我不知道數據文件中有多少列，該怎麼辦？如何根據分割函數生成的項目數動態生成列？

Answer 1

您可以創建選擇表達式序列，然後應用他們都select法:_*語法：

示例數據：

val df = Seq("a b c d", "e f g").toDF("c0") 

df.show 
+-------+ 
|  c0| 
+-------+ 
|a b c d| 
| e f g| 
+-------+ 

如果你想從c0五列列，在執行此操作前需要確定：

val selectExprs = 0 until 5 map (i => $"temp".getItem(i).as(s"col$i")) 

df.withColumn("temp", split($"c0", " ")).select(selectExprs:_*).show 
+----+----+----+----+----+ 
|col0|col1|col2|col3|col4| 
+----+----+----+----+----+ 
| a| b| c| d|null| 
| e| f| g|null|null| 
+----+----+----+----+----+