distributed-computing

0熱度

1回答

分佈式TensorFlow：關於使用tf.train.Supervisor.start_queue_runners

我尋找到的代碼distributed inception model in TF，其中我有以下有關使用tf.train.Supervisor.start_queue_runners問題在inception_distributed_train.py：爲什麼我們需要明確地撥打行 264和行269在inception_distributed_train.py？在API doc. of start_qu

0熱度

1回答

Hadoop的不能沒有格式

我知道這個問題已經被問過運行名稱節點，看到了以下解決方案：  <property> <name>dfs.name.dir</name> <value>/home/hduser/hadoop/data</value> </property> 我修改了HDFS-site.

0熱度

2回答

Cassandra用於存儲點擊日誌

我在廣告技術領域工作，我們當前的基礎架構使用MySQL來存儲點擊和轉換日誌。到目前爲止，MySQL對我們運行鍼對點擊數據的即席查詢非常有用。我們正考慮切換到卡桑德拉，因爲我們在高峯時段收到巨大的交通高峯。不僅如此，我們正以非常快的速度增長，並且我們每時每刻都會獲得約500-1000次點擊（持續時間有時會持續20-30分鐘）。我一直都是可用的選項，到目前爲止，我的研究讓我相信，在寫入性能方面沒有

0熱度

1回答

權重對於apache mesos中的不同角色有什麼意義

我想了解mesos中不同角色的權重概念。我爲role1賦予了2.0的權重，爲role2賦予了5.0的權重，並在mesos集羣中啓動了spark框架並請求相同數量的資源。我沒有看到爲這兩個角色分配資源的方式發生了任何變化。所以我想知道給權重的重要性，並用權重來展示資源預留的一個例子。

0熱度

1回答

任務源如何在不接受任務的情況下訪問Hazelcast ExecutorService？

假設我有成員之間使用Hazelcast進行通信的集羣，並且我想提供任務執行服務。某些集羣成員是任務源（針對服務請求進行了優化），而另一些則是任務接收器（針對長時間運行的計算進行了優化）。我如何配置任務源以訪問服務而不允許他們接受和運行任務？類似的問題（例如Can a Hazelcast ExecutorService be created to execute on a subset of th

1熱度

2回答

實施p2p消息廣播網絡的現狀是什麼？

我知道一個快速的Google可以使用大量的結果，關於這個主題的文獻非常豐富，而這正是問題所在。在衆多可能的解決方案中，我不確定哪些是特別針對我的特定需求的最佳最新選擇。我試圖通過互聯網實現一個P2P網絡，它具有向在線節點廣播消息的唯一功能和一個功能。爲了連接到網絡，您必須能夠指向現有的IP。當你這樣做時，你會發現一些同伴並與他們保持積極聯繫。然後您可以將消息發送到其他每個節點。沒有直接的溝通，發

0熱度

1回答

GdH支持哪些CAP組合？

我感興趣的GDH的實現（格拉斯哥分佈式哈斯克爾）。但是，我找不到CAP定理GdH支持哪些組合。我們可以選擇其中的一種或做GDH程序由像二郎神明確的流程？

1熱度

1回答

關聯故障對集羣性能的影響

在集羣管理的多個演示文稿中（例如，1,2,3），調度程序的目標之一是通過將單個作業的任務分配到較少的計算節點來減少協調故障可能會一起失敗。爲什麼單個作業中任務的相關故障是不可取的？如果我理解正確，所有任務都需要在作業完成之前完成。所以乍一看，如果任務失敗僅限於少量的工作，那麼最好只有那些工作由於重新提交失敗的任務而經歷延遲。我會理解，如果一份工作中的所有任務都是簡單地複製相同的工作，但每個工作

0熱度

1回答

在分佈式內存緩存中傳播更改

我已經在1000個商品框的羣集上部署了應用程序。在啓動時，應用程序的每個實例都會從數據庫加載不重要的數據量，並將其用作緩存。在一天中，大約20％的緩存數據需要更新。幾乎同時更新整個集羣的內存數據的有效方法是什麼？我想到了JMX，Zookeeper，但不確定這是否真的有效/足夠快。

2熱度

2回答

Hazelcast ScheduledExecutorService

使用ScheduledExecutorService來自hazelcast 3.8我有一個內存不足的例外。事情是我正在提供一項服務，應該在一天中提醒用戶關於某些事件。任務的執行應該是容錯的。用戶設置了新的提醒，這是ScheduledExecutorService的一項任務，因此每天的任務數量可能幾千。每個任務使用時間表（Runnable命令，長延時，TimeUnit單元）作爲一次性動作添加到調度