Java斯坦福大學NLP：查找單詞頻率？

Question

我正在使用斯坦福大學NLP分析工具包。鑑於詞典中的一個詞，我怎麼能找到它的頻率*？或者，給定一個頻率等級，我怎樣才能確定相應的單詞？

*在整個語言中，而不僅僅是文本示例。

這是我使用的工具的演示：

class ParserDemo { 
    public static void main(String[] args) { 
    LexicalizedParser lp = new LexicalizedParser("englishPCFG.ser.gz"); 
    lp.setOptionFlags(new String[]{"-maxLength", "80", "-retainTmpSubcategories"}); 

    String[] sent = { "Sincerity", "may", "frighten", "the", "boy", "." }; 
    Tree parse = (Tree) lp.apply(Arrays.asList(sent)); 
    parse.pennPrint(); 
    System.out.println(); 

    TreebankLanguagePack tlp = new PennTreebankLanguagePack(); 
    GrammaticalStructureFactory gsf = tlp.grammaticalStructureFactory(); 
    GrammaticalStructure gs = gsf.newGrammaticalStructure(parse); 
    Collection tdl = gs.typedDependenciesCollapsed(); 
    System.out.println(tdl); 
    System.out.println(); 

    TreePrint tp = new TreePrint("penn,typedDependenciesCollapsed"); 
    tp.printTree(parse); 
    } 

} 

Answer 1

如果只統計詞頻，句子解析是不必要的。所有你需要做的是tokenise輸入，然後使用java HashMap來計數字頻率。如果您想使用斯坦福工具，請使用edu.stanford.nlp.process中的任何標記器。

這給你任何給定詞的出現次數，但一般可能無法找到對應於給定頻率等級的詞，因爲有些話可能是在文檔中同樣頻繁。

Answer 2

這是一個超過NLP的IR（信息檢索）問題。對於這項任務，您應該查看庫如Lucene。