Apache Hive與普通地圖減少

Question

我在運行配置單元查詢（外部表中的條目的簡單計數）時沿着普通地圖縮小（字數統計程序）的方向有奇怪的體驗。我的wordcount地圖縮減首先開始，蜂巢查詢從第二個開始。 Hive查詢的速度有點快，我的第一張地圖縮小了。是否有任何情況下蜂巢地圖減少阻止所有其他地圖減少運行？

我要求你添加你對這個問題的看法。

Answer 1

我認爲這不是一貫的情況。 Hive不會阻止羣集上的其他作業。羣集負載和網絡延遲可能會影響首先完成的任務。如果您試圖比較兩個作業以查看哪個作業更快，請同時提交它們並運行測試至少5-10次，並考慮平均時間。

Answer 2

作業完成的順序取決於作業請求的地圖數量和減少的任務以及羣集的調度程序配置。

如果某個作業請求數量較大的可用集羣的減少任務，則其他作業將被迫等待，直到Reducer任務完成。調度程序然後可以將空閒減少插槽分配給等待作業（同樣，取決於調度程序配置）。