根據以前的問題:1,2。假設我有以下數據框:PySpark將新列添加到數據框與新列表
df = spark.createDataFrame(
[(1, "a", 23.0), (3, "B", -23.0)],
("x1", "x2", "x3"))
我要添加新列x4
,但我有在Python列表值,而不是添加到新列如x4_ls = [35.0, 32.0]
。有沒有一種最佳方式將新列添加到Spark數據框? (注我用星火2.1)
輸出應該是這樣的:
## +---+---+-----+----+
## | x1| x2| x3| x4|
## +---+---+-----+----+
## | 1| a| 23.0|35.0|
## | 3| B|-23.0|32.0|
## +---+---+-----+----+
我還可以改變我列表數據框df_x4 = spark.createDataFrame([Row(**{'x4': x}) for x in x4_ls])
(但我不是如何連接在一起的數據幀)
好像現在沒有簡單的方法來連接數據框或將值添加到數據框。 – titipata