hdinsight

0熱度

1回答

我需要創建一個腳本，以編程方式調用Azure HDInsight REST API，可以定期從cron作業調用，也可以在用戶發起調用後。我跟着Azure的文檔在Service to service calls using client credentials - First case: Access token request with a shared secret頁的說明，我註冊了一個新的應

0熱度

1回答

如何在帶有Azure Hdinsight的Visual Studio中使用Pig

我在Azure上創建了我的HDInsight並與VS2017上的雲資源管理器連接。我想用Hdinsight豬做一個字計數器。我創造了我的豬項目，但，當我開始我的script.pig我得到一個錯誤： Could not copy the file "obj\Debug\Pig" because it was not found.

0熱度

1回答

如何從Spark任務中對ADLS進行身份驗證

我正在構建一個Spark類庫，開發人員在編寫它們的Spark作業以訪問Azure Data Lake上的數據時將使用它。但認證將取決於他們要求的數據集。我需要從Spark作業中調用一個rest API來獲取憑據並通過身份驗證從ADLS讀取數據。這甚至可能嗎？我是新來的火花。

1熱度

2回答

什麼是我webHDFS在Azure HDInsight網址？

新來這裏Azure上。我剛剛在一個普通的存儲帳戶上完成了一個新的HDInsight實例，並創建了一個新的存儲實例。我想知道我的webHDFS網址是/我在哪裏可以找回它以及我如何訪問它。我不使用Azure的數據存儲湖。（幾乎每一個環節，我發現蔚藍相關導致了一些數據湖鏈接）我HDFS-site.xml中： <property> <name>dfs.webhdfs.enabled</na

0熱度

1回答

是否可以使用沒有TRIM功能的SQOOP導入表？

我有一個SQOOP作業，可以將數據直接從Oracle數據庫加載到Microsoft Azure HDInsights Hadoop集羣上的Hive模式。雖然，當導入char基於字段（如varchar變量）時，我發現它們被導入爲字符串。這沒有錯，它對我來說非常完美。但是，有一個小麻煩，這就是Hive數據庫中的字符串字段佔用該字段的最大長度。這意味着每次我在該領域執行條件時都會使用TRIM功能。是否有

0熱度

1回答

如何向Tez添加額外的庫來支持不同的HDFS後端？

當我使用MapReduce作爲Hive後面的執行引擎時，我可以使用備用後端到我的defaultFS.impl。使用類似的語法： LOCATION 'protocol://address:port/dir'; 我想用TEZ執行引擎，而不是MapReduce的，但不能揣摩出加我墊片庫（JAR文件），以便TEZ認識我新協議。這些進入哪個目錄？我需要將指令添加到tez-site.conf嗎？附加輸入：

0熱度

1回答

添加文件系統與TEZ執行引擎蜂巢

與對外部ORC表TEZ執行引擎執行查詢時，我收到以下錯誤： Vertex failed, vertexName=Map 6, vertexId=vertex_1504790331090_0008_1_01, diagnostics=[Vertex vertex_1504790331090_0008_1_01 [Map 6] killed/failed due to:ROOT_INPUT_INIT_

0熱度

2回答

Spark + Intellij + Azure - 輸出到屏幕

我正在使用Intellij編寫Scala代碼，然後將它發送到Azure HDInsight Spark集羣以供執行。我收到有關正在運行的作業的日誌詳細信息，但我沒有看到來自我的println()聲明的任何輸出。這是正常的嗎？有什麼方法可以查看程序執行的輸出嗎？

0熱度

1回答

連接到安裝在HDInsight上的Kafka（Azure）

我需要從外部Java應用程序連接到作爲Azure上HDinsight一部分啓動的Kafka集羣。我有3個經紀人實例，3個ZooKeeper和一個ZooKeeper客戶端。現在我的問題：如何指定代理連接字符串。在管理面板上，我可以看到3個經紀人：xxx-1.yyy.zzz.internal.cloudapp.net,xxx-2.yyy.zzz.internal.cloudapp.net - 但這些

0熱度

1回答

Azure SQL作爲HDInsight的外部Sqoop Metastore

美好的一天！是否有任何文檔說明如何將Azure SQL配置爲HDInsight的外部Sqoop Metastore？通常HDInsight集羣是作爲計算資源動態生成的，然後在完成工作後關閉。這就是爲什麼Sqoop作業定義需要在羣集重新啓動或附加新羣集之後生存的原因。理想情況下，外部sqoop metastore應在其創建過程中動態地附加到新的羣集。問候， -Yuriy