檢測文本中的英文單詞

Question

我有一個已抓取的數據集，但也包含其中含有大量垃圾的條目。

Name: sdfsdfsdfsd 
Location: asdfdgdfjkgdsfjs 
Education: Science & Literature 

目前它存儲在MySQL和Solr中。
是否有任何庫可以在這些字段中查找英文單詞，以便我可以消除垃圾值？我相信這需要一本字典，並且/usr/share/dict/中的默認unix字典似乎足以滿足此用例。

Answer 1

with open('/usr/share/dict/words') as f: 
    words = set(word.lower() for word in f.read().split() 
       # Really short words aren't much of an indication 
       if len(word) > 3) 

def is_english(text): 
    return bool(words.intersection(text.lower().split())) 
    # or 
    return any(word in words for word in text.lower().split()) 

print(is_english('usfdbg dsuyfbg cat')) 
print(is_english('Science & Literature'))