斯坦福大學自然語言處理：在單行上標記輸出？

Question

我們可以使用命令行工具在Apache OpenNLP的單行上輸出標記輸出嗎？ http://nlp.stanford.edu/software/tokenizer.shtml https://opennlp.apache.org/documentation/1.5.3/manual/opennlp.html#tools.tokenizer

Answer 1

您可以使用DocumentPreprocessor編程方式或通過命令行。

從CLI：

$ echo "This is a test. And some more." | java edu.stanford.nlp.process.DocumentPreprocessor 2>/dev/null 
This is a test . 
And some more . 

你可以做同樣的事情編程;見this SO answer。