如何計算文件中唯一字符的數量？

Question

給定一個包含不同語言字符的UTF-8文件，如何獲得它包含的唯一字符數的計數，同時排除一定數量的符號（例如：「！」，「@」，「」 ＃「，」。「）從這個計數？

Answer 1

使用一個Perl的一行：

echo -e "aba\ncfg!ഡ.#g" | perl -C7 -ne 'for(split(//)){if ($_ !~ /[!@#.]/) { print $_."\n"}}' | sort | uniq | wc -l 

輸出7

如果你想忽略換行符：

echo -e "aba\ncfg!ഡ.#g" | perl -C7 -ne 'for(split(//)){if ($_ !~ /[!@#.\n]/) { print $_."\n"}}' | sort | uniq | wc -l 

輸出6

Answer 2

在Python：

import itertools, codecs 

predicate = set('!@#.').__contains__ 
unique_char_count = len(set(itertools.ifilterfalse(
         predicate, itertools.chain.from_iterable(codecs.open(filename, encoding="UTF-8"))))) 

當你遍歷一個文件，你會得到線。 chain將它們連接在一起，因此迭代它可以獲得角色。 ifilterfalse消除符合條件的字符，並將條件定義爲一組禁止字符中的成員資格。

沒有itertools：

import codecs 
disallowed = set('!@#.') 
unique_char_count = len(set(char for line in codecs.open(filename, encoding="UTF-8") for char in line 
           if char not in disallowed)) 

使用set操作：

import codecs 
unique = set() 
any(unique.update(line) for line in codecs.open(filename, encoding="UTF-8")) 
unique.difference_update('!@#.') 
unique_char_count = len(unique) 

Answer 3

這裏有一個bash的解決方案。 :)

bash$ perl -CSD -ne 'BEGIN { $s{$_}++ for split //, q(!@#.) } 
        $s{$_}++ || $c++ for split //; 
        END { print "$c\n" }' *.utf8 

Answer 4

我就可以把我的好措施無語言要求的選項：

sed 's/[!@#.]//g' /path/to/file | sed 's/./\0\n/g' | sort -u | wc -l 

Answer 5

使用套蟒。 可以說你要找出文件的唯一字符url.txt

f=open('url.txt') 
a='' 
for x in f: 
    x=x.split(' ') 
    for y in x: 
    a+=y 
unique=set(a)-set('@!#.') #add the characters that you wanna neglect in the second set 
print(unique) 
print('unique characters : ',len(unique)) 

可以說URL。TXT包含：

Google --! google.com --! coolest search engine 

facebook --! facebook.com --! biggest social network 

yahoo --! yahoo.com --! biggest web portal 

輸出將是：

{'a', 'G', 'm', '\n', 'n', 'c', 'b', 'e', 'g', 'f', 'i', 'h', 'k', '-', 'l', 'o', 'p', 's', 'r', 't', 'w', 'y'} 
unique characters : 22 

Answer 6

一種替代：

filename='/somewhere/my-file-in-utf8' 

iconv -f UTF8 -t UTF16 $filename | tail -c +3 | \ 
perl -pi -e "s/\x00\@//g; s/\x00\!//g; s/\x00\#//g; s/\x00\.//g;" | \ 
od | cut -b 8- | xargs -n 1 | sort | uniq | wc -l 

Answer 7

紅寶石，使用集：

require 'set' 
string = 'ababbbababbabcdcccdbbaaba' 
ignore = 'c' 
(Set.new(string.chars) - Set.new(ignore.chars)).count 
# => 3 

• string是一個輸入字符串
• ignore是與字符的字符串以忽略
• string.chars在字符串
• Set.new字符的列表使得一組在它外面
• -給出兩組
之間的差
• count是元件在所得設定

Answer 8

另一個紅寶石一個數：

#encoding: utf-8 
string = '@étude#@étude ฒณ!' 
ignore = '!@#.' 
p string.chars.to_a.uniq.join.delete(ignore).size #=>8 

Answer 9

我這樣做在Python 3小時的研究後，但我做到了

fname = "temp.txt" 
num_lines = 0 
num_words = 0 
num_chars = 0 
num_uniq = 0 
a = [] 
exclude = ",.@#$" 
with open(fname, 'r') as f: 
    for line in f: 
     words = line.split() 
     for word in words: 
       char = list(word) 
       a = a + char 
     num_lines += 1 
     num_words += len(words) 
     num_chars += len(line) 
print "Lines:%s\nWords:%s\nChars:%s" % (num_lines, num_words, num_chars) 
num_uniq = len(set(a)-set(exclude)) 
print "Unique Characters:%d" % (num_uniq) 

這裏是輸出

Lines:6 
Words:74 
Chars:385 
Unique Characters:26