對於現有的文本分類(監督)技術,爲什麼我們不把文本中的命名實體(NE)作爲培訓和測試中的一項功能?你認爲我們可以通過使用NE來提高精度嗎?命名實體作爲文本分類中的一項功能?
回答
這很大程度上取決於您所在的域。您必須根據域定義功能。在搜索引擎中說,你正在努力學習排名問題,產生一個動態的排名,NE的不會給你任何好處。它更大程度上取決於您正在工作的領域以及定義的輸出分類標籤(監督式學習)。
現在說你正在分類有關足球或電影或Polictics等文件。在這種情況下,命名實體可以工作。我會在這裏給你一個例子,說你正在使用神經網絡將文件分類爲足球,電影,政治等。現在說一份文件來了「梅西被邀請出席」社交網絡「的總理,也出席包括傑西·艾森伯格,安德魯·加菲爾德和賈斯汀·汀布萊克在內的劇組成員和演員。「這裏,命名實體(輸入功能)和電影(輸出定義)之間的連接將更加強大,因此它將被歸類爲電影上的文檔。
另一個例子,說我們的文件是「湯姆·克魯斯被描繪梅西的角色在電影‘最後的足球比賽。’這裏說到的利益說你的神經網絡瞭解到,當一個演員和足球運動員走到一起的一個文件很有可能是一部電影,它又依賴於數據和訓練,也可能是其他方式(但這就是學習所有關於;看到過去的數據)
所以我的答案會請嘗試一下,沒有人阻止你將命名實體作爲功能,它可能有助於你正在工作的域名。
嘿非常感謝你的回答。這有點提高了我的能量:)是的,我專注於一個像你說的那樣狹窄的領域,比如棒球,足球。我擔心的是,即使在傳統的基於術語頻率(TF)的文本(文檔)分類中,我們是不是隱含地使用NE?因爲我們使用的是術語,而NE是術語? – KillBill 2012-04-10 11:45:41
這是另一種傳統方法:http://www.miislita.com/information-retrieval-tutorial/lsi-keyword-research-fast-track-tutorial.pdf – Yavar 2012-04-10 12:07:59
這是無監督(集羣)學習,他們使用LSI來降低特徵向量的維數。你看到這裏納入NER的方法嗎? – KillBill 2012-04-10 12:25:19
- 1. 單功能類(命名爲動詞)
- 2. 功能NHibernate - 映射的實體作爲不同類型的
- 3. 功能爲一體
- 4. 命名實體識別數據和功能
- 5. 實體命名空間子類不在Doctrine中工作
- 6. 分配給類似的命名實體屬性
- 7. 命名功能! (因爲我不能)
- 8. 自動裝填在PHP的整體命名空間(功能,而不是一類)
- 9. 如何命名僅顯示數據庫實體的一部分的類
- 10. 如何從文本中提取命名實體+動詞
- 11. 功能命名:ActionIfCondition()
- 12. 爲什麼一些實體NSManagedObjects和一些以他們的類命名的實體?
- 13. 我如何處理這個命名實體分類任務?
- 14. 通過部分類重命名LINQ 2 SQL實體屬性
- 15. 提取命名實體重命名的名稱,位置,組織和地點的功能
- 16. 功能哈希在R爲文本分類
- 17. PHP重命名功能不起作用
- 18. 從案例分類中命名爲RDD
- 19. 宏重命名多個功能於一體
- 20. MySQL插入功能類似於Window的默認文件命名
- 21. 如何分配數組作爲一類功能
- 22. 計算實體在NLP中的置信度得分命名實體識別
- 23. 爲Java命名實體識別庫
- 24. 作爲一個可滾動實體的文本和圖像
- 25. 結合不同類型的功能(文本分類)
- 26. 將unicode轉換爲HTML實體功能
- 27. 動態命名一個類的實例?
- 28. 熊貓實現了分類功能
- 29. 實體框架命名空間 - 上下文命名空間
- 30. jQuery中的命名空間功能
請舉例說明你想說什麼 – Yavar 2012-04-09 20:01:26
我的意思是,對於我要訓練和測試的每個文檔,如果使用NE的數量(PERS = x,LOC = y,ORG = z)作爲要素以及正常文本(文檔)分類功能? – KillBill 2012-04-10 10:35:44
+1:好問題 – Yavar 2012-04-10 11:46:52