保存Spark StandardScaler以備將來在Scala中使用

Question

我仍在使用Spark 1.6，並且培訓了一個StandardScalar，我希望在將來的數據集上保存和重用它。

使用the supplied examples我可以成功轉換數據，但我找不到保存訓練過的標準化器的方法。

有沒有什麼方法可以保存訓練有素的術士？

Answer 1

假設您已經創建了scalerModel：

import org.apache.spark.ml.feature.StandardScalerModel 

scalerModel.write.save("path/folder/") 

val scalerModel = StandardScalerModel.load("path/folder/") 

Answer 2

StandardScalerModel class has save method。調用配合方法上StandardScaler後，返回的對象是StandardScalerModel：API Docs

例如類似於提供的示例：

import org.apache.spark.ml.feature.StandardScaler 
import org.apache.spark.ml.PipelineModel 

val dataFrame = spark.read.format("libsvm").load("data/mllib/sample_libsvm_data.txt") 

val scaler = new StandardScaler() 
    .setInputCol("features") 
    .setOutputCol("scaledFeatures") 
    .setWithStd(true) 
    .setWithMean(false) 

// Compute summary statistics by fitting the StandardScaler. 
val scalerModel = scaler.fit(dataFrame) 
scalerModel.write.overwrite().save("/path/to/the/file") 

val sameModel = PipelineModel.load("/path/to/the/file")