鮮明的詞情感分析

Question

我嘗試做一個基於7000字的冠詞的情感分析。代碼在Python中工作，但它選擇所有的組合而不是不同的單詞。

例如，字典中說enter和文字說enterprise。我怎樣才能改變它沒有看到這個匹配的代碼？

dictfile = sys.argv[1] 
textfile = sys.argv[2] 

a = open(textfile) 
text = string.split(a.read()) 
a.close() 

a = open(dictfile) 
lines = a.readlines() 
a.close() 

dic = {} 
scores = {} 

current_category = "Default" 
scores[current_category] = 0 

for line in lines: 
    if line[0:2] == '>>': 
     current_category = string.strip(line[2:]) 
     scores[current_category] = 0 
    else: 
     line = line.strip() 
     if len(line) > 0: 
      pattern = re.compile(line, re.IGNORECASE) 
      dic[pattern] = current_category 

for token in text: 
    for pattern in dic.keys(): 
     if pattern.match(token): 
      categ = dic[pattern] 
      scores[categ] = scores[categ] + 1 

for key in scores.keys(): 
    print key, ":", scores[key] 

Answer 1

.match()匹配從行的開頭。所以，你可以使用錨線的一端在REG例如：

re.compile(line + '$') 

或者你可以使用單詞邊界：

re.compile('\b' + line + '\b') 

Answer 2

1. 你的縮進是語無倫次。有些級別使用3個空格，有些使用4個空格。

2. 您嘗試將字詞上的每個單詞與字典中的所有7000個單詞進行匹配。相反，只需查看字典中的單詞即可。如果不在那裏，請忽略錯誤（EAFP原則）。

3. 此外，我不確定在對象方法（"".split()）上是否有使用類方法（string.split()）的優勢。

4. Python也有一個defaultdict它自己初始化字典爲0。

編輯：

代替.readlines()我使用.read()和.split('\n')。這消除了換行符。

拆分文本不是在默認的空格字符，但在正則表達式'\W+'（一切的不「單詞字符」）是我試圖擺脫標點符號。

下面我推薦碼：

import sys 
from collections import defaultdict 

dictfile = sys.argv[1] 
textfile = sys.argv[2] 

with open(textfile) as f: 
    text = f.read() 

with open(dictfile) as f: 
    lines = f.read() 

categories = {} 
scores = defaultdict(int) 

current_category = "Default" 
scores[current_category] = 0 

for line in lines.split('\n'): 
    if line.startswith('>>'): 
     current_category = line.strip('>') 
    else: 
     keyword = line.strip() 
     if keyword: 
      categories[keyword] = current_category 

for word in re.split('\W+', text): 
    try: 
     scores[categories[word]] += 1 
    except KeyError: 
     # no in dictionary 
     pass 

for keyword in scores.keys(): 
    print("{}: {}".format(keyword, scores[keyword]))