hdinsight

0熱度

1回答

是否有任何Microsoft Azure組件可用於Azure HDInsight上的KNOX和Falcon。無論如何，我們的大多數工作流程和計劃都將通過Azure Data Factory進行。我們更傾向於天藍色的組件而非IaaS開放源代碼。那麼，在HDInsight的最新版本上是否有KNOX？或者，Azure如何管理到HDInsight羣集的安全網關？非常感謝，

1熱度

3回答

LOAD DATA INPATH將相同的CSV基數據加載到兩個不同的和外部的Hive表中

我有兩個CSV文件，我上傳到HDInsight中的Azure Blob存儲。我可以毫無問題地將這兩個文件上傳到集羣。然後我創建兩個Hive表... CREATE EXTERNAL TABLE IF NOT EXISTS hive_table1(id int, age string, date string...) ROW FORMAT DELIMITED FIELDS TERMINATED BY

0熱度

2回答

遠程向Azure HDInsight提交作業

我設置了Azure HDInsight Spark羣集。我想遠程發送作業到集羣： import org.apache.spark.api.java.JavaSparkContext; import org.apache.spark.api.java.JavaRDD; import org.apache.spark.SparkConf; public class App { pu

0熱度

1回答

從HDInsight/Hadoop以Excel/CSV格式提取數據到本地機器使用DataStage for ViS工具

我一直在想如何從HDInsight（適用於Windows）的Hive表格中提取數據作爲Excel的本地機器/ CSV文件。爲此，我正在爲Visual Studio使用Data Lake Tools。現在我試圖尋找解決方案，並發現這個link以及本link後，我結束了與此查詢... INSERT OVERWRITE LOCAL DIRECTORY 'C:\Users\username\Docume

0熱度

1回答

使用Hadoop在R中進行市場購物籃分析

我正試圖找到一種快速方法對具有數百萬行數的交易型市場購物籃數據進行親和性分析。什麼我迄今所做的：創建獲取與RevoScaleR 開始對雲星火& Hadoop之上的R服務器（Azure的HDInsight）在HDFS 加載數據但是，我陷入了最後一步。據我所知，我將無法使用RevoScaleR中未提供的函數來處理數據。下面是用於訪問HDFS數據的代碼： bigDataDirRoot <- "

0熱度

2回答

在Microsoft Azure上運行Jupyter筆記時發現錯誤HDInsight 3.5

我在Microsoft Azure上部署了一個標準配置（Location = US East，Head Nodes = D12 v2（x2））的HDInsight 3.5 Spark（2.0）羣集，工人節點= D4 v2（x4））。當羣集運行時，我在「羣集儀表板」快速鏈接中單擊Jupyter Notebook。在提示中輸入我的用戶名和密碼後，我收到一個頁面，其中顯示404：Not Found頁面。

0熱度

1回答

如何在java中使用身份驗證方法連接Azure虛擬機上的WASB

目前，我正在Azure虛擬機中運行我的應用程序，該應用程序使用用戶名hdfs連接到HDInsight Spark羣集。我創建了具有主存儲類型的HDInsight Spark羣集作爲Azure存儲別名WASB。我相信以下方法來驗證WASB存儲： - Storage Access Keys - 我從Azure存儲帳戶存儲密鑰和用作核心的site.xml如下 <property> <nam

0熱度

1回答

通過sparkmagic將本地jupyter筆記本連接到HDInsight羣集

我已經在Microsoft Azure上部署了一個HDInsight 3.5 Spark（2.0）羣集，其標準配置（位置= US East，頭節點= D12 v2（x2），工作節點= D4 v2 （X4））。本地我已經按照https://github.com/jupyter-incubator/sparkmagic/blob/master/README.md#installation和https:

0熱度

1回答

在HDInsight的Jupyter筆記本上導入自己的模塊

我已經在Microsoft Azure上部署了一個標準配置（位置=美國東部，頭節點= D12 v2（x2），工作節點= D4 v2的HDInsight 3.5 Spark（2.0） X4））。當羣集運行時，我連接到Jupyter筆記本，並嘗試導入自己創建的模塊。 import own_module 這不幸的是不行的，所以我試圖1）上傳own_module.py在Jupyter筆記本產品和2）通

1熱度

1回答

在azure HDInsight應用程序中添加自定義日誌

我在azure HDInsight羣集上部署我的scala + apache spark 2.0應用程序。我們可以通過天藍色門戶查看應用程序的默認紗線日誌。但是，我們的要求是爲特定應用程序（業務案例）日誌添加我們自己的自定義記錄器（錯誤，調試日誌）。我們無法創建可在羣集外部訪問的自定義記錄器（通過存儲azure blob存儲）。