Hadoop中的Sort Comparator和Group Comparator之間有什麼區別？

Question

分選比較器和組比較器在Hadoop中有什麼區別？

Answer 1

要了解GroupComparator，見我回答這個問題 -

What is the use of grouping comparator in hadoop map reduce

SortComparator：用於定義地圖的輸出密鑰從書Hadoop的分類

節選 - 權威指南：

鍵的排序順序如下：

1. 如果屬性mapred.output.key.comparator.class設置，明確地或 呼籲工作setSortComparatorClass()，則使用這個類的一個實例。 （在 舊的API的等效方法是setOutputKeyComparatorClass()上JobConf。）

2. 否則，密鑰必須是WritableComparable一個子類，並且使用該註冊 比較的鍵類。

3. 如果沒有註冊比較，則RawComparator使用 的字節流進行比較成對象並委託給WritableComparable的compareTo()方法，其反序列化。

SortComparator Vs的GroupComparator在一個班輪： SortComparator決定如何同時GroupComparator決定哪些減速器內的地圖輸出鍵轉到同一減少方法調用圖輸出鍵進行排序。

Answer 2

組比較決定哪些地圖輸出鍵將以團結（分組）到一個鍵，，當然值的所有集合也將被分組。通常它只需要第一個鍵作爲摘要收集的唯一鍵。

SortComparator決定如何將鍵排序在輸入減少。默認情況下它使用自然排序。