R - Tokenization - TermDocumentMatrix中的單個和雙字母單詞

Question

我目前正在嘗試做一些文本處理，並且希望在TermDocumentMatrix中獲得單個和兩個字母的單詞。

問題是，它似乎只顯示3個字母和更多的單詞。

library(tm) 
    library(RWeka) 

    test<-'This is a test.' 

    testmyCorpus<-Corpus(VectorSource(test)) 
    testTDF<-TermDocumentMatrix(testmyCorpus, control=list(tokenize=AlphabeticTokenizer)) 
    inspect(testTDF) 

只顯示單詞「this」和「test」。有任何想法嗎？

非常感謝您的幫助！ 羅伯特

Answer 1

Here幾乎是你的問題的答案：總之，你應該添加一個選項control=list(wordLengths=c(1,Inf)到TermDocumentMatrix。