通過Unix shell腳本查找並刪除重複的字符串。如何？

Question

我是一個Unix shell腳本新手。我知道幾種不同的方式來找到重複。但無法找到一種簡單的方法來刪除重複項，同時保持原始順序（因爲使用排序 - 失去原來的順序）。

例子：腳本調用dedupe.sh

運行示例：

dedupe.sh

cat dog cat bird fish bear dog 

結果：cat dog bird fish bear

Answer 1

你說的Perl？

perl -e 'while($_=shift@ARGV){$seen{$_}++||print}print"\n" ' \ 
cat dog cat bird fish bear dog 

等效地，dedupe.pl包含：

#!/usr/bin/perl 
while ($w = shift @ARGV) { 
    $seen{$w}++ || print "$w"; 
} 
print "\n"; 

現在chmod u+x dedupe.pl和：

./dedupe.pl cat dog cat bird fish bear dog 

無論哪種方式，輸出是任意的。

cat dog bird fish bear 

Answer 2

使用awk：

$ printf '%s\n' cat dog cat bird fish bear dog | awk '!arr[$1]++' 
cat 
dog 
bird 
fish 
bear 

或

$ echo 'cat dog cat bird fish bear dog' | awk '!arr[$1]++' RS=" " 

或

$ printf '%s\n' cat dog cat bird fish bear dog | sort -u 

如果它工作在shell，它會在腳本作品=）

Answer 3

Ahh perl ...只寫語言。 :)

只要你打電話給另一種腳本語言，不妨考慮一下可讀性。 :)

#!/usr/bin/env ruby 

puts ARGV.uniq.join(' ') 

這意味着：

puts = "print whatever comes next" 
ARGV = "input argument array" 
uniq = "array method to perform the behavior you're looking for and remove duplicates" 
join(' ') = "join with spaces instead of default of newline. Not necessarily needed if you're piping to something else"