distributed-computing

1熱度

1回答

我是相當新的風暴，最近改變了我的螺栓從IRichBolt 而不是BaseBasicBolt繼承，這意味着我現在負責ACKING的和失敗一個元組根據我自己的邏輯。 My topology looks like this: 螺栓A向螺栓B和C發出相同的元組，每個堅持數據到卡桑德拉。這些操作不是冪等的，並且包含對兩個不同計數器列族的更新。我只對失敗的元組感興趣，並在Cassandra的某些異常（不

1熱度

1回答

DB訪問

我打算下一代我開發一個分析系統，我想使用的MapReduce/Stream-Processing平臺，如Flink之一，Spark Streaming等對於分析實現它的，映射器必須具有數據庫訪問權限。所以我最關心的是，當一個映射器是並行的，來自連接池的連接都將被使用，並且可能有一個映射器無法訪問數據庫。我該如何處理？這是我需要關注的東西嗎？

0熱度

1回答

分佈式架構如何適用於動態和靜態內容

這是我的場景。我有地圖平鋪在服務器不同的縮放級別創造了數千個映射磚。目前這在一個EC2實例上運行。我想堅持使用AWS。當前的工作流程 - 一種用於瓷磚請求時，nginx的檢查，如果在高速緩存中存在瓷磚。如果該圖塊存在，它就會顯示出來。如果它不存在，它會將請求傳遞到一個貼圖創建腳本，該腳本既將新創建的貼圖提供給用戶，也將其緩存以供將來使用。當需要創建大量圖塊時，這開始陷入困境。我想把它移到一個

9熱度

1回答

分佈式互相關矩陣計算

如何計算大型（> 10TB）數據集（可能採用分佈式方式）的皮爾森互相關矩陣？任何有效的分佈式算法建議將被讚賞。更新：我看了阿帕奇火花MLIB相關 Pearson Computaation: /home/d066537/codespark/spark/mllib/src/main/scala/org/apache/spark/mllib/stat/correlation/Correlation

-2熱度

2回答

如何將matlab與hadoop集成

我對分佈式圖像處理感興趣。我有一個包含32個節點的Hadoop集羣，我希望在節點上分發圖像，處理它們，然後從每個節點收集結果（更像是map-reduce）。請解釋分佈式圖像處理的所有可能方式（如使用matlab分佈式服務器，使用Hadoop集羣等）。

2熱度

1回答

通過Aurora在mesos大泊塢窗圖像發射工作可能會很慢

當啓動一個使用一個相當大的泊塢窗圖像（〜2GB）有實際開始執行任務前，漫長的等待時間通過極光在mesos的任務。即使任務之前已經被啓動，我們預計泊塢窗圖像已經提供給工作節點，還有一段等待時間取決於圖像大小的任務實際啓動之前。使用docker，你可以立即啓動一個容器，只要它已經在你的圖片列表中，那麼容器容器是否也不支持這種「緩存」？這個功能是否可以配置？我還沒有嘗試過使用docker conta

-3熱度

2回答

如何安裝虛擬機？

我正在使用MPI（消息傳遞接口）的分佈式系統上的項目。我需要多個系統進行模擬，但我只有一個系統。我如何在我的系統上安裝虛擬機來達到目的？操作系統：Ubuntu的15.04

1熱度

1回答

針對EhCache的分佈式驅逐建議最佳實踐？

我有多個節點運行使用ehcache進行本地緩存的JVM Spring應用程序。我想從社區中找出最佳做法是如何在整個節點集羣中正確執行特定元素的緩存逐出。例如，如果在節點1上，我們意識到我們需要驅逐id 123的項目（或使用CachePut進行更新），則我們還需要在所有其他節點之間驅逐（或CachePut）。我目前做的方式是節點1，通知使用Redis的發佈/訂閱強制所有節點上的所有其他節點驅逐I

1熱度

1回答

如何更改代碼以使其適用於分佈式計算

我遇到以下問題。我是一名物理學家。對於我目前的工作，我必須數值研究一些問題。我使用蒙特卡羅方法計算了一些7D積分。我使用OpenMP進行並行計算，但是我的程序在一臺計算機上運行得很慢。在工作中，來自IT部門的人表示，他可以製作虛擬機，並且可以使用分佈式計算來計算。我使用C++和OpenMP（用於並行計算）。我的問題是以下幾點：我的程序在分佈式計算的虛擬機上工作嗎？我應該如何修改我的分佈式

1熱度

2回答

如何在一個相當大的數組中獲得最大數量的連續整數（分佈在多臺機器上）

我在一次採訪中被問到了這個問題。第一部分非常簡單，我不得不編寫代碼來獲取數組中最大數量的連續整數。以下是我寫的代碼： int count = 0, max = 0; for(int i = 1; i < array.length; i++) { if((array[i - 1] + 1) == array[i])) //curr is consecutive to prev