LARGE在線對話文本集的情感分析

Question

標題說明了一切;我有一個SQL數據庫用線上對話文本在接縫處爆裂。我已經使用Python完成了這個項目的大部分工作，所以我想用Python的NLTK庫來完成這個工作（除非有一個強的原因）。

的數據由主題，用戶名，並後組織。每條線索或多或少都着重討論我感興趣分析的一類「產品」。最終，當這些完成時，我希望每個用戶對他們在某個時候討論過的任何產品有一個估計的意見（喜歡/不喜歡某種交易）。

所以，我想知道：

1）我如何去確定每一個線程是什麼產品？我正在閱讀關於關鍵字提取...是正確的方法？

2）如何根據他們的帖子確定特定的用戶情緒？從我有限的理解中，我必須首先「訓練」NLTK來識別某些意見指標，然後我才簡單地確定這些詞語出現在文本中的上下文嗎？你可能已經猜到了，我沒有使用過NLP的經驗。從我讀到目前爲止，我認爲我可以處理它。如果有人能夠指引我朝着正確的方向發展，那麼即使只是現在的基本和粗略的工作模式也會很好。谷歌對我不是很有幫助。

P.S.我有權分析此數據（如果它很重要）

Answer 1

培訓的分類需要訓練集標記數據的和特徵提取獲得功能可設置每個文本。在獲得訓練好的分類器後，可以將其應用於以前未見過的文本（未標記），並根據所使用的機器學習算法獲取分類。 NLTK gives a good explanation and some samples to play around with。

如果您有興趣使用自己的訓練數據集構建正面/負面情緒的分類器，我會避免簡單的關鍵字計數，如they aren't accurate for a number of reasons（例如，否定正面詞語：「不快樂」）。另一種方法是，如果您仍然可以使用大型訓練集而無需手動標記任何東西，則可以使用遠程監控。基本上，該方法使用表情符號或其他特定文本元素作爲嘈雜標籤。您仍然必須選擇哪些功能是相關的，但許多研究僅使用unigrams或bigrams（分別爲單個單詞或單詞對）已獲得良好結果。

所有這些都可以通過Python和NLTK輕鬆完成。你也可以選擇使用像NLTK-trainer這樣的工具，它是NLTK的包裝，並且需要更少的代碼。

我認爲this study由Go等。是最容易理解的之一。您還可以閱讀distant supervision，distant supervision sentiment analysis和sentiment analysis的其他研究。

有在NLTK一些內置的分類與培訓和分類方法（Naive Bayes，MaxEnt等），但如果你有興趣使用支持向量機（SVM），那麼你應該看看其他地方。技術上NLTK爲您提供了一個SVM class，但它只是PySVMLight的一個包裝，它本身是用C編寫的SVMLight的包裝。儘管如此，我仍然有許多問題，並且建議使用LIBSVM。

對於確定主題，許多人使用簡單的關鍵字，但也有一些更復雜的方法可用。

Answer 2

您可以使用類似的數據集來訓練任何分類器，並在將數據應用於數據時查看結果。例如，NLTK包含電影評論語料庫，其中包含1000個正面評論和1000個負面評論。 Here is an example on how to train a Naive Bayes Classifier with it。其他一些評論數據集，如亞馬遜產品評論數據，可以從here獲得。

另一種可能性是獲取正面和負面詞彙的列表，例如this one並計算它們在您的數據集中的頻率。如果你想要一個完整的列表，請使用SentiWordNet。