以實施順序排在第一位：POS標記或Lemmatisation？

Question

如果我想製作一個像NLTK這樣的NLP工具包，那麼在標記化和標準化後我會首先實現哪些功能。 POS標籤或Lemmatisation？

Answer 1

詞性對於工作的語法化非常重要，因爲根據詞性的不同，詞語具有不同的含義。使用這些信息，詞形將返回基本形式或引理。所以，如果POS標籤的實施首先完成，那將會更好。

lemmatisation背後的主要思想是將一個單詞的不同變形形式組合成一個。例如，去，去，去了和去了將成爲只有一個 - 去。但是爲了推導這一點，lemmatisation必須知道單詞的背景 - 無論單詞是名詞還是動詞等。

因此，lemmatisation函數可以將單詞和詞性作爲輸入並返回引理處理完信息後。

Answer 2

確定首先使POS標記。如果您首先進行雙重化，您可能會在執行POS標記時丟失單詞的最佳分類，特別是在語言中，歧義很常見，因爲它是葡萄牙語。