0
在高層我知道Spark MLLib是寫在RDD之上的，Spark ML是建立在DataFrame之上的，但我的理解缺乏細節。spark mllib和spark ml的矢量實現之間有什麼區別？
尤其是，不同向量實現的兼容性缺乏讓我想知道實現中的差異以及爲什麼選擇這些設計決策？
A
回答
1
在SPARK-13944中解釋了保持局部線性代數ml的動機。
將線性代數作爲獨立模塊劃分出來，無需使用Spark依賴關係來簡化生產部署。我們可以調用新模塊mllib-local，它可能包含未來的本地模型。 主要問題是刪除用戶定義類型的依賴關係。
軟件包名稱將從mllib更改爲ml。例如，Vector將從
org.apache.spark.mllib.linalg.Vector更改爲org.apache.spark.ml.linalg.Vector。新ML流水線中的返回矢量類型將是ML包中的一個;但是，現有的mllib代碼不會被觸及。因此，這可能會破壞API。另外，當矢量由Spark SQL從mllib矢量加載時，矢量將自動轉換爲ml包中的一個。
眼下實現接近相同，排除了一些轉換方法，
相關問題
- 1. spark javardd方法collect（）和collectAsync（）之間有什麼區別？
- 2. spark-submit和pyspark有什麼區別？
- 3. Apache Spark compute和slice有什麼區別？
- 4. Apache Spark SQL和MongoDB之間的區別？
- 5. Spark中QuantileDiscretizer和Bucketizer之間的區別
- 6. Spark MLLIB問題
- 7. 爲什麼Spark MLlib HashingTF只輸出一維矢量？
- 8. spark.jars和spark.driver.extraClassPath之間有什麼區別
- 9. 如何將scala矢量轉換爲spark ML矢量？
- 10. 各種助推ublas稀疏矢量之間有什麼區別？
- 11. 什麼是Spark ML中的Param []和Params [] ML
- 12. Flex3和Flex4中的Halo和Spark有什麼區別？
- 13. 可以使用Spark ML管道加載和測試使用Spark MLLib構建的ML模型嗎？
- 14. Spark mllib ALS建議
- 15. Spark-submit/spark-shell> yarn-client和yarn-cluster模式之間的區別
- 16. 二維矢量和矢量地圖有什麼區別？
- 17. Spark中的排序和orderBy函數有什麼區別
- 18. spark的shuffle讀和shuffle寫有什麼區別？
- 19. spark中的轉換和rdd函數有什麼區別？
- 20. Spark View Engine中的$ {...}和！{...}有什麼區別？
- 21. 結合Spark Streaming + MLlib
- 22. Apache spark mllib.linalg向量和spark.util向量之間的區別機器學習
- 23. Apache Spark中的`registerTempTable`和`createTempView`之間的區別
- 24. Spark中的ReduceByKey和CombineByKey之間的區別
- 25. dc的各種實現之間有什麼區別？
- 26. ConstraintSet中clone（）的不同實現之間有什麼區別？
- 27. 隊列的兩種常見實現之間有什麼區別？
- 28. Java Spark中`：path-param`和`{path-param}`有什麼區別？
- 29. Spark ML（Dataframe）和降維
- 30. spark-shell和start-master/start-slaves之間的區別？
謝謝你，這是明確的！ – HBX