即使我在運行作業之前設置了exec目錄和暫存目錄，我的配置單元作業仍然失敗，出現以下錯誤，我不知道爲什麼默認屬性沒有更新。 SET hive.exec.scratchdir=/domain/usecase/warehouse/hive_scratch_tmp;
SET hive.exec.stagingdir=/domain/usecase/warehouse/.staging;
例外： 1
當前我試圖通過最新的date_processed過濾Hive表。 表被分區。 系統 DATE_PROCESSED 地區 我已經成功地過濾它的唯一辦法，是做一個連接查詢： query = "select * from contracts_table as a join (select (max(date_processed) as maximum from contract_table as b)
我有一個視圖在oracle數據庫，在視圖中的一列是ROWID列， 一旦我嘗試導入負載到sqoop它會拋出以下錯誤： .
.
.
17/09/14 08:15:32 INFO manager.OracleManager: Time zone has been set to GMT
17/09/14 08:15:32 INFO manager.SqlManager: Executing
我已經試過幾個選擇，但我只看到配置設置合併小文件能像下面大文件蜂巢ORC表，但反之versa.I正在尋找創建的文件大小150kb。 set hive.merge.tezfiles=true;
set hive.merge.smallfiles.avgsize=128000;
set hive.merge.size.per.task=128000;
下面是我的豬腳本。它非常簡單。加載一些數據。按列過濾數據。使用數據類型生成模式。將數據存儲在配置單元表中。 當我執行數據，其扔 emp = load '/root/emp.nulls' using PigStorage(',');
filt = filter emp by $2 is not null;
f = foreach filt generate $0 as id:int, $1 as