變換字符串列向量列星火DataFrames

我有一個數據幀星火看起來如下：變換字符串列向量列星火DataFrames

+-----------+-------------------+ 
|  ID |  features  | 
+-----------+-------------------+ 
| 18156431|(5,[0,1,4],[1,1,1])| 
| 20260831|(5,[0,4,5],[2,1,1])| 
| 91859831|(5,[0,1],[1,3]) | 
| 206186631|(5,[3,4,5],[1,5]) | 
| 223134831|(5,[2,3,5],[1,1,1])| 
+-----------+-------------------+

在這個數據幀功能列是稀疏向量。在我的腳本中，我必須將此DF保存爲磁盤上的文件。在執行此操作時，功能列將保存爲文本列：示例"(5,[0,1,4],[1,1,1])"。在Spark中再次導入時，列保持字符串，如您所期望的那樣。如何將列轉換回（稀疏）矢量格式？

來源

2016-08-01 Stijn

哪個版本的Spark？你想得到哪個矢量類（'ML' /'MLib'）？你如何閱讀這些數據？ – zero323

Spark版本= 1.6.2。最好是一個ML矢量（但你可以解釋兩者）。我使用下面的代碼來讀取數據：'DF = sqlContext.read.format（'com.databricks.spark.csv'）。options（header ='true'，inferschema ='true'，delimiter = delimiter）.load （'file：//'+ path）.drop（''）' – Stijn

1.6中沒有ML向量，因此它使事情變得簡單:) – zero323

不是特別有效（這將是一個好主意，使用保留類型的格式），由於UDF開銷，但你可以做這樣的事情：

from pyspark.mllib.linalg import Vectors, VectorUDT 
from pyspark.sql.functions import udf 

df = sc.parallelize([ 
    (18156431, "(5,[0,1,4],[1,1,1])") 
]).toDF(["id", "features"]) 

parse = udf(lambda s: Vectors.parse(s), VectorUDT()) 
df.select(parse("features"))

請直接注意這不會端口2.0.0+和MLVector。由於ML向量不提供parse方法，您必須解析爲MLLib並使用asML。

來源

2016-08-01 12:49:27 zero323

它的工作！謝謝！ – Stijn

您能否給我提供一個python和Spark 2.0.2中的asML示例代碼？我應該把這個asML加入udf嗎？ – Stijn

變換字符串列向量列星火DataFrames

回答

相關問題