mapreduce

    0熱度

    1回答

    如何設置vcores爲sqoop工作

    如何sqoop aquires vcores執行。我提交了一個包含4個mapper的sqoop作業，即使有大約50個vcore，應用程序也從1個vcore開始。所以沒有任何parelllization。這是一個導入到文本文件的sqoop作業。這些是關於vcrore分配的紗線配置參數。 sqoop作業如何獲取要執行的vcore？從大多數數據庫源平行 <property> <name>yarn.sc
    mapreduce yarn sqoop apache-sqoop sqoop2 2017-09-13

    5熱度

    2回答

    歸結事件的時間間隔

    場景： 我有記錄的事件一樣在這個CSV如服務： #TimeStamp, Name, ColorOfPullover TimeStamp01, Peter, Green TimeStamp02, Bob, Blue TimeStamp03, Peter, Green TimeStamp04, Peter, Red TimeStamp05, Peter, Green 事件例如彼得穿着綠色
    events logging mapreduce reducing 2017-09-14

    0熱度

    1回答

    分裂火花數據幀和基於一個列值

    計算平均我有兩個dataframes： 第一數據幀classRecord有10個不同的條目像以下： Class, Calculation first, Average Second, Sum Third, Average 第二數據幀studentRecord具有圍繞50K條目像以下： Name, height, Camp, Class Shae, 152, yellow, first
    scala apache-spark mapreduce spark-dataframe 2017-09-15

    2熱度

    1回答

    在MapReduce中使用更多Reducer的優缺點是什麼？

    MapReduce編程全部是關於並行處理的，那麼爲什麼我們在很多情況下從單個reducer開始。在MapReduce中增加更多減速器有哪些優缺點？
    hadoop mapreduce cluster-computing reducers bigdata 2017-09-15

    1熱度

    1回答

    爲什麼HBase支持Hive表使用MapReduce

    我在項目中使用Hbase支持的Hive表，但我們選擇Hbase支持Hive的原因是執行更新。 除此之外，Hbase支持的Hive表的其他優點還有哪些。因爲從Hive查詢時它仍然使用MapReduce。 即使我們想要一小組數據，並且由於表很大，需要花費時間來給出結果。 但是，如果我們使用範圍進行掃描或者只需在Hbase中獲取Hbase shell結果即可。那麼除了更新之外，使用Hbase支持的Hiv
    hadoop hive mapreduce hbase 2017-09-23

    1熱度

    1回答

    瞭解Mapreduce代碼

    我試圖通過製作電影推薦系統來練習Big Data Mapreduce。我的代碼： *imports public class MRS { public static class Map extends Mapper<LongWritable, Text, Text, Text> { public void map(LongWritable key, Text valu
    java mapreduce hadoop2 movie 2017-09-25

    -1熱度

    3回答

    javascript將第一個數組值替換爲第二個數組值。第一個數組長度是2，第二個長度是7

    我有兩個數組a和b，我需要用a替換數組b。 a= [1,2]; b=[1,2,3,4,5,6,7]; 預期的輸出應該是這樣的 [1,2,1,2,1,2,1]
    javascript jquery arrays arraylist mapreduce 2017-09-25

    2熱度

    1回答

    MRUnit測試用於測試hadoop映射程序錯誤

    我想單元測試使用MRUnit的Mapper程序（來自Hadoop：權威指南，第153頁，部分：使用MRUnit編寫單元測試：Mapper）。我使用的IntelliJ IDEA，它是示出了方法的誤差 new org.apache.hadoop.mrunit.MapDriver<>().withMapper(myMapper) 該錯誤消息表示， withMapper（org.apache.hado
    java hadoop mapreduce mrunit 2017-09-27

    1熱度

    1回答

    C＃中的MongoDB MapReduce不會返回任何結果

    我想從我的C＃代碼運行MongoDB MapReduce，很不幸，我無法獲得任何結果。 如果我直接在MongoDB shell中運行相同的MapReduce，一切正常。 任何幫助，將不勝感激。 下面是關於我的問題的數據： C＃驅動程序版本：2.4.4 MongoDB的版本：3.4.5例輸入文檔的 'DocInput' { "_id" : ObjectId("59c52b3cb602cb6
    c# mongodb mapreduce mongodb-.net-driver 2017-09-27

    0熱度

    1回答

    運行時錯誤在hdfs上執行jar文件

    我應該做些什麼？ 在hadoop系統上運行這個jar文件時，我有一個錯誤信息。 的hadoop罐子units.jar /input_dir/sample.txt/OUTPUT_DIR /導致螺紋 異常 「主」 拋出java.lang.ClassNotFoundException： /input_di /樣品/在java.lang.Class.forName0 TXT（本地方法）在org.apach
    hadoop mapreduce 2017-10-06
最新問題