2017-07-03 59 views
0

我正在研究項目以評估教育機構的簡答題。這是我需要做的:NLP短文本標記方法

老師有一個樣本答案(我們提前知道)。 示例答案有3-4個關鍵字。 學生輸入答案。應用程序應該評估學生的答案如下:

  • 這些關鍵詞的上下文含義應該出現在與樣本答案中具有相同/相似關係的答案中。
  • 學生需要使用關鍵字的同義詞。
  • 預計同義詞的適當關係也是如此。
  • 學生不允許使用相同的關鍵字(如果他們在答案中使用關鍵字 ,則不標記)。
  • 答案不多於2-3句。

有人可以指導我什麼是一個很好的方法嗎?尋找一些起點來實現這一目標。我熟悉NLP的基礎知識,但並沒有使用那裏的許多工具。

回答

1

有一個應用語言學的子學科叫做"computer assisted language learning" (often CALL for short),我不太熟悉,但可能有一些你想要利用的見解。更多的是關於自動評分等,例如非英語母語者的學生散文,但我懷疑你可能想熟悉CALL研究。

這是一個非常困難的問題,並沒有一個通常解決。最後,你會想要一個人在循環---也就是說,系統分配成績,並且教練需要檢查他們是否同意。 NLP不夠好,對語言和知識的理解不夠清楚,您可以自動獲得關於文本含義的完整和準確的圖片。

考慮到這一警告,我會開始儘可能多地獲得教師答案的實際例子以及正確和不正確的學生答案。您需要擁有某種黃金標準數據,原因有二:瞭解您的系統工作得如何(評估)以及瞭解什麼是正確和錯誤的答案(見解)。沒有實際的例子,你不可能有一個工作系統;以實際例子來說,它仍然很難,但現在你知道你做得如何。

作爲第一遍,不要做任何奇特的事情,請做a tf.idf weighted bag-of-words model。使用餘弦距離來比較教師/學生的答案,並根據餘弦距離了解您可以如何預測對與錯。這當然不會是完美的,但它會給你一個很好的基準來比較你的其他結果。

接下來可以試着用某種word2vec(W2V)系統替換tf.idf包的單詞。 W2V有助於解決一些同義詞的問題,但是您需要大量流派特定的文本才能使其正常工作,並且我懷疑這個應用程序會有足夠的空間。

從那裏開始,我會使用解析器來嘗試使用單詞之間的關係來達到預期的意義。不過,這很好。首先獲取該數據。