Java的簡單自然語言處理啓動

Question

我願意開始在NLP上開發一個項目。我不知道很多可用的工具。谷歌搜索後約一個月。我意識到openNLP可以成爲我的解決方案。

不幸的是我沒有看到任何關於使用API​​的完整教程。他們都缺乏一些一般的步驟。我需要一個來自底層的教程。我在網站上看到很多下載，但不知道如何使用它們？我是否需要培訓什麼？..這裏是我想知道 -

如何安裝/設置它能夠 -

1. 解析英語一句話
2. 識別自然語言處理系統詞性不同

Answer 1

你說你需要「解析」每個句子。您可能已經知道這一點，但僅僅爲了明確起見，在NLP中，術語「解析」通常意味着恢復一些分層語法結構。最常見的類型是組成結構（例如，通過上下文無關語法）和依賴結構。

如果您需要層次結構，我建議您考慮只是從解析器開始。我知道的大多數解析器都包含解析過程中的POS標記，並且可以提供比有限狀態POS標記更高的準確性標記（注意 - 我更熟悉組成解析器而不是依賴解析器，可能有一些或大多數依賴解析器會需要POS標籤作爲輸入）。

解析的一大缺點是時間複雜度。有限狀態的POS標籤通常每秒鐘以千字計算。即使是貪婪的依賴關係解析器也相當慢，構成的解析器通常每秒運行1-5個句子。所以如果你不需要分層結構，你可能想要使用有限狀態的POS標籤來提高效率。

如果你決定你需要解析結構，有幾個建議：

我認爲@aab建議斯坦福解析器既包括組成分析器和依賴解析器。

Berkeley解析器（http://code.google.com/p/berkeleyparser/）是一個非常有名的PCFG構成解析器，達到了最先進的準確性（相當於斯坦福解析器，我相信它），並且效率相當高（〜每秒5句話）。

BUBS解析器（http://code.google.com/p/bubs-parser/）也可以運行高精度Berkeley語法，並將效率提高到15-20句/秒。全面披露 - 我是從事這個解析器的主要研究人員之一。

警告：這兩個解析器都是研究代碼，帶有所有產生的問題。但我很想看到人們實際使用BUBS，所以如果它對您有用，請嘗試與我聯繫，並提供問題，意見和建議等。

如果需要，還可以使用以下幾種維基百科背景參考：

• 上下文無關文法：http://en.wikipedia.org/wiki/Stochastic_context-free_grammar

• 相關語法：http://en.wikipedia.org/wiki/Dependency_grammar

Answer 2

通常你會在其他的順序執行這兩個任務：

1. 做兼職的，speec^h標籤
2. 使用POS機的標籤，輸入

OpenNLP的文檔是不是徹底，一些情況變得很難找到，由於開關運行Apache解析器。在舊的SF wiki中有一些（可能稍微過期的）教程。

您可能想看看Stanford NLP tools，特別是斯坦福POS Tagger和斯坦福分析器。兩者都具有包含預先訓練好的模型文件的下載，並且在頂層目錄中還有演示文件，演示瞭如何開始使用API​​以及顯示如何使用命令行工具的短shell腳本。

LingPipe可能是另一個很好的檢查工具包。在這裏快速搜索會導致您遇到一些類似的問題，並提供與其他替代方案的鏈接！

Answer 3

最流行的是：

• GATE：易於使用和相當快下手
• UIMA：緩慢的學習曲線，但更高效，更通用的

Answer 4

參見伊利諾伊館長： http://cogcomp.cs.illinois.edu/page/software_view/Curator

演示： http://cogcomp.cs.illinois.edu/curator/demo/

它給你幾乎所有的東西在一個地方。