2015-09-07 145 views
1

我有一個oozie工作流程。我正在提交所有配置單元操作oozie中Hive操作的作業隊列

<name>mapred.job.queue.name</name> 
<value>${queueName}</value> 

但是對於少數配置單元操作,啓動的作業不在指定的隊列中;它在默認隊列中被調用。

請告訴我這個行爲和解決方案背後的原因。

回答

5

A. Oozie細節 Oozie將「常規」Hadoop屬性傳播到「常規」MapReduce操作。

但對於Oozie在YARN中運行單個Mapper任務的其他類型的Action(Shell,Hive,Java等),它並不認爲它是一個真正的MapReduce作業。因此,它使用不同組無證物業總是前綴oozie.launcher.例如,看看that post

所以你的情況的實際屬性設置將oozie.launcher.mapred.job.queue.name

B. TEZ細節從HortonWorks documentation摘錄:

例如,在蜂巢可以使用tez.queue.name財產 hive-site.xml指定用於Hive-on-Tez作業的隊列。爲了 分配蜂房上TEZ工作用「工程」隊列,添加 以下屬性蜂巢-site.xml中:

<property> <name>tez.queue.name</name> <value>engineering</value> </property> 
+0

要清楚:「常規」 Hadoop的性能會傳播到由Hive啓動的任何MapReduce作業。但主Hive會話和任何以本地模式運行的作業將使用「啓動器」屬性(或默認的道具失敗) –

+0

謝謝你的答案參孫!但即使在設置'oozie.launcher.mapred.job.queue.name'之後,作業仍在默認隊列中運行。其實,我正在使用TEZ作爲執行引擎。該物業是否未申請TEZ工作? – Anup

+0

好點。編輯答案。 –