sklearn GaussianNB - 不好的結果，[nan]可能性

Question

我正在做一些關於一個班的性別分類的工作。我一直在使用SVMLight，結果不錯，但我也想對我的數據嘗試一些貝葉斯方法。我的數據集由文本數據組成，並且我已經完成了特徵縮減以將特徵空間減少到對於一些貝葉斯方法更合理的大小。所有的實例都通過tf-idf運行，然後進行標準化（通過我自己的代碼）。

我抓起sklearn工具包，因爲它很容易與我目前的代碼庫整合，但我從GaussianNB得到的結果都是一個類（-1在這種情況下），並且預測概率都[楠。

我粘貼了一些相關的代碼;我不知道這是否足以繼續，但我希望我只是忽略了使用sklearn api的一些明顯的東西。我有幾個不同的功能集，我已經試過了，也有相同的結果。使用訓練集和交叉驗證也一樣。有什麼想法嗎？難道我的功能空間太稀疏了嗎？我有300多個實例，其中大多數有幾百個非零特徵。

class GNBLearner(BaseLearner): 
    def __init__(self, featureCount): 
     self.gnb = GaussianNB() 
     self.featureCount = featureCount 

    def train(self, instances, params): 
     X = np.zeros((len(instances), self.featureCount)) 
     Y = [0]*len(instances) 
     for i, inst in enumerate(instances): 
      for idx,val in inst.data: 
       X[i,idx-1] = val 
      Y[i] = inst.c 
     self.gnb.fit(X, Y) 

    def test(self, instances, params): 
     X = np.zeros((len(instances), self.featureCount)) 
     for i, inst in enumerate(instances): 
      for idx,val in inst.data: 
       X[i,idx-1] = val 
     return self.gnb.predict(X) 

    def conf_mtx(self, res, test_set): 
     conf = [[0,0],[0,0]] 
     for r, x in xzip(res, test_set): 
      print "pred: %d, act: %d" % (r, x.c) 
      conf[(x.c+1)/2][(r+1)/2] += 1 
     return conf 

Answer 1

GaussianNB是不適合用於文檔分類可言，因爲TF-IDF值是非負頻率;改爲使用MultinomialNB，也可以嘗試BernoulliNB。 scikit-learn附帶一個document classification示例，順便說一句，使用tf-idf加權使用內置的TfidfTransformer。

不要指望奇蹟，因爲300個樣本對於一個訓練集是非常小的（儘管對於二元分類，它可能足以擊敗「最頻繁」的基線）。因人而異。

全面披露：我是scikit學習核心開發者和當前MultinomialNB和BernoulliNB代碼的主要作者之一。