PySpark中的ParamGridBuilder無法與LinearRegressionSGD配合使用

Question

我試圖弄清楚爲什麼LinearRegressionWithSGD不適用於Spark的ParamGridBuilder。從火花文檔：

lr = LinearRegression(maxIter=10) 
paramGrid = ParamGridBuilder()\ 
.addGrid(lr.regParam, [0.1, 0.01]) \ 
.addGrid(lr.fitIntercept, [False, True])\ 
.addGrid(lr.elasticNetParam, [0.0, 0.5, 1.0])\ 
.build() 

然而，改變LinearRegression到LinearRegressionWithSGD根本不起作用。隨後SGD參數也無法傳入（例如迭代或minibatchfraction）。

謝謝！

Answer 1

那是因爲你正試圖從兩個不同的庫混合功能：LinearRegressionWithSGD來自pyspark.mllib（即舊的，RDD-based API），同時兼具LinearRegression & ParamGridBuilder來自pyspark.ml（新，dataframe-based API）。

事實上，在你引用（順便說一句，在未來這將是很好提供一個鏈接，太），你會發現行documentation的代碼片段之前的幾行：

from pyspark.ml.regression import LinearRegression 

而LinearRegressionWithSGD您使用something like：

from pyspark.mllib.regression import LabeledPoint, LinearRegressionWithSGD, LinearRegressionModel 

這兩個庫是不兼容：pyspark.mllib將RDD的LabeledPoint作爲輸入，這與pyspark.ml中使用的數據幀不兼容;並且由於ParamGridBuilder是後者的一部分，因此它只能與數據幀一起使用，而不能與pyspark.mllib中包含的算法一起使用（請檢查上面提供的文檔鏈接）。

而且，記住，LinearRegressionWithSGD是Spark 2 deprecated：

注意：在2.0.0棄用。使用ml.classification.LogisticRegression或LogisticRegressionWithLBFGS。

UPDATE：感謝以下@ rvisio的評論，我們現在知道，雖然undocumented，一個可實際使用pyspark.ml爲solver='sgd'LinearRegression;這裏是一個簡短的例子adapted from the docs：

spark.version 
# u'2.2.0' 

from pyspark.ml.linalg import Vectors 
from pyspark.ml.regression import LinearRegression 

df = spark.createDataFrame([ 
    (1.0, 2.0, Vectors.dense(1.0)), 
    (0.0, 2.0, Vectors.sparse(1, [], []))], ["label", "weight", "features"]) 
lr = LinearRegression(maxIter=5, regParam=0.0, solver="sgd", weightCol="weight") # solver='sgd' 
model = lr.fit(df) # works OK 
lr.getSolver() 
# 'sgd'