carrot2 api不支持日語

Question

我正在嘗試使用carrot2 API將日語文檔集羣化。它拋出了這個WARN：

org.carrot2.text.linguistic.DefaultTokenizerFactory：Tokenizer for Japanese（ja）不可用。這可能會降低日語內容的羣集質量。

因此，羣集過程失敗，所有文檔都屬於「其他主題」羣集。

有沒有幫助解決這個問題？

在此先感謝。

Answer 1

Carrot 可用的開源算法很不幸不支持日文。這個常數被添加來覆蓋日後可能的支持。

或者，你可以嘗試運行胡蘿蔔使用自定義的語言管道，在胡蘿蔔中UsingCustomLanguageModel示例類的Java API分佈顯示如何做到這一點。