mapreduce

3熱度

2回答

當在包含numpy數組的dask.bag上執行foldby時，我從dask/numpy得到非常無意義的FutureWarning消息。 def binop(a, b): print('binop') return a + b[1] def combine(a, b): print('combine') return a + b[1] seq = ((

0熱度

2回答

Java：執行Hadoop MapReduce有一些問題

我想使用MapReduce執行wordcount。我從Hadoop的網站代碼： package org.myorg; import java.io.IOException; import java.util.*; import org.apache.hadoop.fs.Path; import org.apache.hadoop.conf.*; import org.apache.ha

1熱度

1回答

輸入記錄不匹配python mapreduce中的輸出記錄

我正在用python編寫map reduce程序。映射器工作時，我用它運行完美的罰款 - cat input.csv|python mapper.py > output.tsv 但是，當我使用下面的命令運行它，我沒有得到期望的輸出 - nohup hadoop jar /opt/mapr/hadoop/hadoop-2.7.0/share/hadoop/tools/lib/hadoop-str

0熱度

1回答

地圖減少工作繼續流

我有一個巨大的文本文件，其中包含文本數據。文件的每行包含12個字符的數據。我需要使用map reduce作業從該文件中找到5個字符的子字符串。輸入文件。 abcdefghijkl kahfdjshjsdh sdfkjsdjkjks 值到搜索 cdefg 的 'CDEFG' 可以在文件中的任何地方發生。它可以分成兩行。所以我不知道如何創建當前行的最後兩個字符和下一行的下一個3個字符的映

0熱度

1回答

如何避免在Hadoop中發生Map/Reduce任務失敗

我有一個循環迭代次數太多，並且在Reducer函數中有一個計算量很大的函數。 while (context.getCounter(SOLUTION_FLAG.SOLUTION_FOUND).getValue() < 1 && itrCnt < MAX_ITR) MAX_ITR是重複計數 - 用戶輸入問題是，當我的Hadoop集羣上運行它有超時錯誤和減速的任務是殺死 17/05/06 21:0

0熱度

1回答

何處以及如何設置HADOOP_CLASSPATH

我寫了一個maven程序，然後構建它並將第三方jar放在target/lib文件夾中。使用哪個命令以及哪些地方可以將它們放入我的HADOOP_CLASSPATH中？設置HADOOP_CLASSPATH的位置是hadoop-env還是hadoop-config？非常感謝。

0熱度

2回答

的MapReduce沒有產生一個輸出

我想執行的文本文件一個簡單的MapReduce，但它不是做的輸出。這是我的代碼： import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apa

1熱度

1回答

hbase批量加載中的奇怪行爲

我試圖將20k文件批量加載到hbase表中。平均文件大小爲400kb。但是有些文件大到70MB。所有文件放在一起的總大小是11GB。該方法是標準的，在loadIncremenalFiles調用之後發送鍵值對。當我運行10個文件的隨機樣本代碼時，一切正常。我注意到生成的hfiles的大小是文件本身大小的1.3倍。但是，當我爲所有20k文件運行相同的代碼時，我得到的hfiles放在一起的大小爲4

0熱度

1回答

批量加載到HBase：錯誤：java.lang.ClassCastException：org.apache.hadoop.io.FloatWritable無法轉換爲org.apache.hadoop.hbase.Cell

在Java中，我必須使用MapReduce導入一些數據一個tsv文件（大約21 * 10^6行）到HBase表中。每一行是： XYZ | XZS YSY | SDS | XDA | JKX | SDS 0.XXXXXXXXX 的HTable已5列家族：A，B，C，d，E 第一該文件的everyline夫婦是我的HBase rowkey。五個第二組是5列限定符： YSY | SDS |

0熱度

1回答

連接在點燃地圖關閉reduce任務

環境： Ignite服務器： centos6.5內核2.6.32-431.el6.x86_64 點燃版本1.9 hadoop 2.6.2版本 3個服務器節點，每個節點具有'-Xms16g -Xmx16g -server -XX：+ AggressiveOpts -XX：MaxMetas paceSize = 256m'啓動時設置我用點火圖減少運行地圖減少測試作業。這項工作只是獲得每個人的平均數量