mapreduce

0熱度

5回答

的MapReduce雲

除了亞馬遜的MapReduce，做什麼其他的選擇我必須處理大量數據的？

2熱度

2回答

用foo算法實現hadoop

我想用Hadoop實現快速傅立葉變換算法。我知道遞歸fft算法，但我需要你的指導方針來實現它的Map/Reduce方法。有什麼建議麼？謝謝。

6熱度

2回答

需要幫助實現這個算法與地圖Hadoop MapReduce

我有一個算法，將通過一個大型的數據集讀取一些文本文件，並在這些行中搜索特定的術語。我已經用Java實現了它，但我不想發佈代碼，以便它看起來不在我正在尋找某人爲我實現它，但這確實是我真的需要很多幫助！這不是我的項目計劃，但數據集是巨大的，所以老師告訴我，我必須這樣做。編輯（我沒有澄清我previos版本）的數據集我是Hadoop集羣上，我應該做出的MapReduce實現我讀到關於MapReduc

6熱度

3回答

0.20.2使用Java的API hadoop版本5

我已經開始嘗試在java 1.5.0_14中實現MapReduce算法的Maven項目。我選擇了0.20.2 API hadoop版本。在pom.xml我使用從而以下依賴性： <依賴> < groupId>org.apache.hadoop< /groupId> < artifactId>hadoop-core< /artifactId> < version>0.20.2< /versio

12熱度

2回答

Mongo Map第一次減少

第一次地圖/減少用戶在這裏，並使用MongoDB。我有很多頁面訪問數據，我想通過使用Map/Reduce來了解一些情況。下面基本上是我想要做的，但作爲一個初學者Map/Reduce，我認爲這超出了我的知識！瀏覽所有在過去30天內訪問的頁面，以及external = true的位置。然後爲每個頁面，找到所有訪問集團轉診位置所有訪問對於每個推薦的位置，計算出許多那麼如何去拜訪它具有一定的「類型

0熱度

1回答

javax.security.auth.login.LoginException：登錄我的Windows機器上的失敗

我試圖運行一個Hadoop作業（18.3版），但我得到以下錯誤： Caused by: javax.security.auth.login.LoginException: Login failed: CreateProcess: bash -c groups error=2 at org.apache.hadoop.security.UnixUserGroupInformation.l

1熱度

2回答

Map減少亞馬遜上的工作：自定義罐子的參數

這是我在管理控制檯中使用AWS上的Map Reduce的第一次嘗試。您已經上傳了我在我的本地機器上運行的在我的本地機器上開發的可運行JAR。正如文檔中所述，我已經通過S3路徑輸入和輸出作爲參數的jar：所有權利，但問題是第三個參數是另一個路徑（作爲字符串）我需要加載的文件，而工作正在執行中。該文件駐留在S3存儲桶中，但似乎我的jar無法識別路徑，並且在嘗試加載它時遇到了FileNotFound

32熱度

1回答

在CouchDB中執行一對多「加入」的最佳方法

我正在查找與「SQL連接」等效的CouchDB。在我的例子也有是列表元素CouchDB的文件： { "type" : "el", "id" : "1", "content" : "first" } { "type" : "el", "id" : "2", "content" : "second" } { "type" : "el", "id" : "3", "content" : "thir

1熱度

1回答

有沒有辦法在Hadoop中配置推測執行超時？

我有hadoop工作的任務，預計將運行時間顯着長（幾分鐘）。然而，hadoop過早開始投機執行。我不想完全拋棄投機性執行，但我希望增加hadoop在考慮投機執行的工作之前等待的時間。有沒有一個配置選項來控制這個超時？謝謝

2熱度

4回答

C＃：將作業用於多處理器機器上的工作進程

我有一個需要在ca上運行的通用檢查。 1000個對象。檢查大約需要3秒鐘。我們有一臺帶有4個處理器的服務器（並且我們網絡中還有其他多處理器服務器），所以我們想創建一個exe/dll來執行檢查並將結果返回給「主」。有沒有人知道這個框架，或者怎麼會在C＃中進行呢？具體做法是：什麼是主機和工作進程之間傳輸數據的最佳方式？主服務器如何確保始終有4個進程在任何時間運行，並且只要工作進程完成，就會啓動