oozie

0熱度

1回答

我有一個shell腳本，用於從MySQL to hdfs導入數據，即sqoop shell腳本。我想使用oozie安排sqoop導入作業。腳本具有以下sqoop query sqoop import --connect ${domain}:${port}/${database} --username ${username} --password ${password} --query "sele

2熱度

1回答

Oozie - 失敗：SemanticException [錯誤10072]：數據庫不存在：testnamespace

在使用Hive查詢運行Oozie工作流時出現錯誤。這裏是工作流 <workflow-app xmlns='uri:oozie:workflow:0.5' name='reporting_W_errorAuditHiveQueryExe'> <start to="hive_report_fork"/> <fork name="hive_report_fork"> <path star

0熱度

1回答

從Oozie工作流程運行的mapreduce中的HBase連接失敗

我正在將我的mapreduce作業作爲來自Oozie工作流程的java操作運行。當我在Hadoop集羣上運行MapReduce的我的成功運行，但是當我運行使用相同的罐子從Oozie的工作流扔掉它是這是我的工作流的.xml <workflow-app name="HBaseToFileDriver" xmlns="uri:oozie:workflow:0.1"> <start to=

0熱度

1回答

s3使用oozie工作流程的服務器加密

我有一個sqoop作業，它將數據寫入s3存儲桶。如果我從命令行運行這個作業，它將加密s3文件。但是，如果我使用相同的jar文件使用oozie工作流運行sqoop作業，那麼它會將數據推送到s3，但不會發生加密。以下是我的oozie工作流程。 <java> <job-tracker>${jobTracker}</job-tracker> <name-node>${nameNo

0熱度

1回答

在oozie中使用hive上下文失敗的Spark作業

在我們的一個管道中，我們使用spark（java）進行聚合，並使用oozie進行編排。該流水線使用以下幾行將聚合數據寫入ORC文件。 HiveContext hc = new HiveContext(sc); DataFrame modifiedFrame = hc.createDataFrame(aggregateddatainrdd, schema); modifiedFrame.wr

1熱度

2回答

Oozie--的java：找不到命令 - 殼行動

我正在從通過Oozie的shell腳本中的Java程序，我得到下面的錯誤 java: command not found 當我運行從邊緣節點我的shell腳本沒有發現任何問題，並且java類沒有任何錯誤地運行，我也得到了期望的輸出。但是，它是運行java命令失敗的oozie作業。 oozie中的所有其他操作都會執行，但是當它遇到java行時，它會拋出上述錯誤。我知道Hadoop集羣中的所有節點

0熱度

2回答

Oozie工作流與火花應用程序報告內存不足

我試圖執行與火花程序Oozie工作流作爲單一步驟。我用它成功地執行JAR火花提交或火花外殼（同樣的代碼）： spark-submit --packages com.databricks:spark-csv_2.10:1.5.0 --master yarn-client --class "SimpleApp" /tmp/simple-project_2.10-1.1.jar 應用不應該要求大量

0熱度

1回答

如何使假期排除的oozie時間表

我們有源文件每天都在hdfs抵達假日除外。我們的oozie協調員每天都會觀看這些文件。我不希望oozie在定義的節假日上運行。怎麼做。如果是假期，Coodinator不應該超時。

0熱度

1回答

我們可以在oozie協調器中創建動態目錄結構嗎？

我想創建一個事件驅動的oozie協調器。但目錄路徑會定期更改。我不想在代碼中硬編碼目錄。 <datasets> <dataset name="test_co" frequency="${coord:minutes(120)}" initial-instance="${coordStartDate}" timezone="${timezone}"> <uri-templat

1熱度

1回答

sqoop作業導出數據到mysql，卡住地圖100％，狀態正在運行

所以我試圖從impala導出數據到mysql與sqoop，這是由oozie job調度的。但是當第一個sqoop動作開始時，它停留在地圖100％，減少0％，所有其他動作都塞滿了。奇怪的是，在我殺死這個oozie作業之前，mysql中沒有數據，但是在我殺了它之後，數據出現在mysql表中（僅與第一個卡住的sqoop動作有關的表）。這裏是我的導出腳本： enter image descriptio