nltk語義詞替換

Question

我試圖找到不同的方式來編寫語義上類似的「城市中的事件」。我試圖通過查找與「事件」在語義上相似的詞來做到這一點，所以我可以將它們替換。

要找到這些詞我正在使用nltk的wordnet語料庫，但我得到了一些非常奇怪的結果。例如，使用'event.n.01'的下位詞，我得到了「渥太華的奇蹟」。

聯合下標和上位詞看起來一樣糟糕或更糟糕。我想知道是否有人更好地理解結構並能提供潛在的解決方案？

下面是一些示例代碼：

!/usr/bin/python3 

import nltk 

lemma = 'event.n.01' 
synset = nltk.corpus.wordnet.synset(lemma) 

print("%s: %s" % (synset.name(), synset.definition())) 

print("\nFinding hyponyms...") 
print([s.split('.')[0] for w in synset.hyponyms() for s in w.lemma_names()]) 

print("\nFinding hypernym paths...") 
print([s.split('.')[0] for hyprs in synset.hypernym_paths() for hypr in hyprs for s in hypr.lemma_names()]) 

print("\nFinding co-hyponyms...") 
for hypers in synset.hypernym_paths(): 
     for hyper in hypers: 
       print(hyper.name()) 
       for hypos in hyper.hyponyms(): 
         print("\t%s" % (', '.join(hypos.lemma_names()))) 

print(synset.similar()) 

Answer 1

你可以採取深入的學習方法。訓練word2vec模型，並獲取與「事件」向量最相似的向量。

您可以在這裏測試的模型Word2Vec Demo

Answer 2

的下義詞的 「事件」是類型的 「事件」。其中之一是「奇蹟」，有些則是：

>>> [s for w in synset.hyponyms() for s in w.lemma_names][:7] # is 7 enough? :) 
['zap', 'act', 'deed', 'human_action', 'human_activity', 'happening', 'occurrence'] 

「事件的」 上位是在oposite。術語是「事件」是一個類型：

>>> synset.hypernyms() 
[Synset('psychological_feature.n.01')] 

你可以看到，「事件」是它的一個下義詞：

>>> synset.hypernyms()[0].hyponyms() 
[Synset('motivation.n.01'), Synset('cognition.n.01'), Synset('event.n.01')] 

這些都不是真正的「類似」條款（「心理渥太華的特徵「可能看起來像是機器人的正確結果，但不是人類）。

也許最好從完全不同的角度去看它，

>>> text = nltk.Text(word.lower() for word in nltk.corpus.brown.words()) 
>>> text.similar('event') 
time day man order state way case house one place action night point 
situation work year act and area audience 

現在，拿這些和排序他們，例如by path_similarity：

>>> words = 'time day man order state way case house one place action night point'\ 
...   ' situation work year act and area audience'.split() 
>>> 
>>> def get_symilarity(synset, word): 
...  return max([synset.path_similarity(synset2) 
...    for synset2 in nltk.corpus.wordnet.synsets(word)]+[0]) 
>>> 
>>> sorted(words, key=lambda w: get_symilarity(synset, w), reverse=True)[:5] 
['act', 'case', 'action', 'time', 'way'] 

這是一個好的結果嗎？我不知道。我想它可以工作：「在渥太華的行爲」，「在紐約的案件」，「在羅馬的行動」，「在東京的時間」，「在阿姆斯特丹的方式」...