從mahout集羣結果中識別文檔

Question

我正在使用mahout對使用solr索引的文本文檔進行集羣。

我已經使用文檔中的「文本」字段來形成向量。然後，我在mahout中使用k-means驅動程序進行集羣，然後使用clusterdumper實用程序來轉儲結果。

我很難理解翻車機的輸出結果。我可以看到在這些聚類中用術語向量形成的聚類。 但是，我如何從這些集羣中提取文檔。我希望結果是出現在不同集羣中的輸入文檔。

Answer 1

我也有這個問題。這個想法是，羣集傾卸器會將所有羣集數據與點一起轉儲等等。您有兩個選擇：

1. 修改ClusterDumper.printClusters（）方法，以便它不會打印所有條款和權重。我有這樣一些代碼：如果可能的話

    String clusterInfo = String.format("Cluster %d (%d) with %d points.\n", value.getId(), clusterCount, value.getNumPoints()); 
        writer.write(clusterInfo); 
        writer.write('\n'); 
    // list all top terms 
    if (dictionary != null) { 
         String topTerms = getTopFeatures(value.getCenter(), dictionary, numTopFeatures); 
         writer.write("\tTop Terms: "); 
         writer.write(topTerms); 
         writer.write('\n'); 
        } 

    // list all the points in the cluster 
    List points = clusterIdToPoints.get(value.getId()); 
        if (points != null) { 
         writer.write("\tCluster points:\n\t"); 
         for (Iterator iterator = points.iterator(); iterator.hasNext();) { 
          WeightedVectorWritable point = iterator.next(); 
          writer.write(String.valueOf(point.getWeight())); 
          writer.write(": "); 

          if (point.getVector() instanceof NamedVector) { 
           writer.write(((NamedVector) point.getVector()).getName() + " "); 
          } 

         } 
         writer.write('\n'); 
        } 

1. 做一些grep的魔術和消除所有有關條款和重量的信息。