amazon-emr

4熱度

1回答

是有辦法來設置超時爲步亞馬遜AWS EMR？我正在EMR上運行批處理Apache Spark作業，如果該作業不在3小時內結束，我希望作業停止併發生超時。我無法找到一個方法來設置超時在星火未，也不紗線，也不在EMR配置。感謝您的幫助！

0熱度

1回答

我已經產生了一個EMR集羣，其中包含一個EMR步驟，用於將文件從S3複製到HDFS，反之亦然使用s3-dist-cp。這個羣集是一個隨需應變的羣集，所以我們沒有跟蹤ip。第一個電子病歷步驟是： hadoop fs -mkdir /input - 此步驟已成功完成。第二EMR步驟是：以下是我使用的命令： s3-dist-cp --s3Endpoint=s3.amazonaws.com --s

0熱度

2回答

Amazon EMR w/Spark w/Postgres：「無法啓動數據庫'metastore_db'」

我已經在自己的Linux服務器上使用Apache Spark和PostgreSQL JDBC驅動程序，但沒有問題，但我無法使其工作在Amazon EMR上以同樣的方式執行。我先下載Postgres的驅動程序和設置我pyspark類路徑是這樣的：Adding postgresql jar though spark-submit on amazon EMR 我執行在Amazon EMR實例設置了Sp

0熱度

2回答

EMR-5.4.0（火花執行人存儲器分配問題）

我創建了一個火花簇（學習所以沒有創建高存儲器-CPU羣）被1個主節點和2核心利用下面配置萬事達運行執行人：Running1m4.large（2 Core，8GB） Core：Running2c4.large（2核，3.5GB） Hive 2.1.1，Pig 0.16.0，Hue 3.11.0，Spark 2.1.0，Sqoop 1.4.6，HBase 1.3.0 當pyspark運行時出現錯誤

0熱度

2回答

AWS EMR上的Spark 2.1.0的AWS-SDK對齊錯誤？

我正在使用AWS上的spark 2.1.0運行emr-5.3.1。當我提交的火花任務與我的JAR（FAT JAR），我發現了以下錯誤： user class threw exception: java.lang.NoSuchMethodError: com.amazonaws.auth.DefaultAWSCredentialsProviderChain.getInstance()Lcom/am

0熱度

1回答

當在具有不同大小的多個驅動器的計算機上使用hadoop時，規模較小的磁盤變滿

因此，我在m3.xlarge機器上使用emr-5.4.0，並在頂部添加了250 GB EBS。與250個GB EBS這種配置m3.xlarge，驅動器被安裝如下：的/ mnt /：40 GB SSD驅動 /mnt1上/：40 GB SSD驅動 /mnt2 /：250 gb ebs 我檢查了以下hadoop配置，它們如下。 yarn.nodemanager.local-顯示目錄：/ MNT /紗

0熱度

1回答

如何使用AWS數據管道並行運行多個Hive活動？

我們希望使用AWS數據管道來自動化數據提取過程。在我們的提取過程中，我們主要將CSV文件複製到S3存儲桶中，並在其上運行Hive查詢，以查找超過100個不同的表。我們想創建一個管道，我們將能夠處理所有的100個表。我想知道我們是否可以同時運行多個Hive活動和S3複製活動？如果管道活動串行或並行運行，我無法在AWS文檔中找到此信息。

0熱度

1回答

來自AWS上的HTable的MapReduce輸入超時

我在使用emr-5.4.0解決如何執行一個簡單的MapReduce作業並輸入來自HTable的問題時遇到了一些問題。（emr-5.3.0也失敗）我已經做了一堆谷歌搜索，以找出如何進行，但could'nt找到任何有用的東西。我的過程：我創建使用Hbase.The版本一個EMR簇是： Amazon 2.7.3, Ganglia 3.7.2, HBase 1.3.0, Hive 2.1.1, H

0熱度

1回答

集羣上的不健康節點

導致集羣上的某個節點進入不健康狀態的原因是什麼？基於我的理解有限，它通常發生在給定節點上的HDFS利用率超出閾值時。該閾值由max-disk-utilization-per-disk-percentage屬性定義。我曾經觀察到在spark-sql觸發內存密集型spark工作或使用pyspark節點進入不健康狀態的時候。進一步觀察後，我在處於不健康狀態的節點上執行了ssh，發現實際上dfs利用率

1熱度

2回答

將文件上傳到S3，然後在EMR中處理並最終傳輸到Redshift

我是這個論壇和技術的新成員，正在尋找您的建議。我正在處理POC，下面是我的要求。你能指導我達到結果的方式嗎？將數據從NAS複製到S3。將S3用作EMR作業中的源，並將目標指向S3/Redshift。任何鏈接，pdf也將有所幫助。感謝， Pardeep