使用WebHCat的Hadoop Knox比以前更慢

Question

我正在嘗試爲我的MapReduce作業使用Knox。以前，我沒有使用Knox，MapReduce作業需要35s。

但是在使用Knox之後，我看到一個額外的工作--TemptontonControllerJob首先執行，它將啓動我原來的MapReduce作業，這實際上需要更多時間 - 約1分20秒！

我知道MapReduce作業現在是TempletonControllerJob的一個子工作。

• 但是我怎樣才能讓它更快？
• 爲什麼TempletonControllerJob需要這麼長時間？

Answer 1

這是一個有趣的觀察和問題。不幸的是，這是Apache Hive項目和Templeton/WebHCat而不是Apache Knox的問題。 Knox只是代理WebHCat API來提交作業。希望我能有更多的幫助。