帶火花的LDA模型

Question

我推斷新文檔的主題分佈有一些問題。 其實，我正在使用Spark 2.2.0，並且我已經訓練了LDA模型 val lda = new LDA().setK(5).setMaxIterations(24) 如何推斷新文檔的主題？

Answer 1

只有LocalLDAModel能得分反對新的文件，所以需要你的模型轉換成第一：

val localLda = lda.toLocal 

那麼對於一個單一的文件：

val document: Vector = ??? 
localLda.topicDistribution(document) 

或多個文檔：

val documents: RDD[(Long, Vector)] = ??? 
localLda.topicDistributions(documents)