2016-01-23 58 views
0

如果矩陣沒有標記爲this,我能夠乘以2個大的矩陣嗎?矩陣在Hadoop mapreduce中大數據的乘法

矩陣的幾個記錄:

1,3,4,5 
6,1,8,0 

基質B

1,4 
5,6 
2,5 
4,5 

希望一次,如果我的矩陣存儲在HDFS與塊大小128 MB和我的文件大小約爲200 MB。 2個地圖得到執行,如果我乘以這2個矩陣。我們無法確定結果是否正確,因爲地圖採用不同的輸入分割可能會改變排列順序。但是,如果我們爲100 MB的文件大小做這個問題不會發生。

如果我錯了,請糾正我。

+0

如果您不打算使用該示例中顯示的表示形式,那麼如何將兩個矩陣放在一個文件中並在程序中找到它們之間的邊界? – PonMaran

+0

這並不重要,我們可以使用multipleInputs並在減速器中執行操作。在reducer中,我們得到了與我們從該鏈接中獲取reducer值相同的格式。我們可以讓我們的兩個映射器都能執行如此 –

+0

@PonMaran:但是我需要確定我提到的問題是否正確。是否有任何方法爲大數據做乘法 –

回答

0

你應該知道他們的索引。 或者如果你已經知道的元素做手工等:

1 * 1 + 3 * 5 + 4 * 2 + 5 * 4 6 * 4 + 1 * 6 + 8 * 5 + 0 * 5