在Apache Pig中的排名

Question

排序後，有沒有一種很好的方法可以對Apache Pig中的列進行排名？如果排名處理關係更好。

A = LOAD 'file.txt' as (score:int, name:chararray); 
B = foreach A generate score, name order by score; 
.... 

Answer 1

我想你可以使用「ORDER BY」操作符。這裏是link

B = ORDER A BY score DESC; 

或

B = ORDER A BY score ASC; 

Answer 2

嘗試排名操作

A = load 'data' AS (f1:chararray,f2:int,f3:chararray); 

DUMP A; 
(David,1,N) 
(Tete,2,N) 
B = rank A; 

dump B; 
(1,David,1,N) 
(2,Tete,2,N) 

參考https://blogs.apache.org/pig/entry/apache_pig_it_goes_to

Answer 3

您應該使用的混合兩種溶液

B = ORDER A BY score DESC; 
C = rank B; 

比方說，你想要的第二大

D = filter C by $0 == 2; 

Answer 4

可以在PIG使用等級，它也將處理的關係，但同時將等級將只使用一個減速，所以性能會產生影響。