distributed-computing

    1熱度

    2回答

    讓Q是一個分佈式的行矩陣中的星火,我想計算的Q跨產品與它的轉Q'。 儘管行矩陣確實有一個multiply()方法,但它只能接受局部矩陣作爲參數。 碼圖(斯卡拉): val phi = new RowMatrix(phiRDD) // phiRDD is an instance of RDD[Vector] val phiTranspose = transposeRowMatrix(phi)

    0熱度

    2回答

    我對分佈式計算的世界有點新鮮。我正在閱讀官方tensorflow教程中的following,但我對本教程的主要示例中正在發生的事情感到困惑。 特別是,如何在PS任務和工作人員互動? ps工作的作用究竟是什麼?他們在代碼中的相應部分是相當有限的,他們似乎沒有做太多,所以他們的目的是什麼?我想我不明白我們的分佈式系統的各個部分是如何協同工作的。 這將是巨大的,如果有人能解釋一下你在不同的過程和他們的行

    4熱度

    1回答

    很多人說: Spark不會複製hdfs中的數據。 Spark將操作放置在DAG圖中.Spark構建RDD譜系。如果一個RDD丟失了,他們可以在血統圖的幫助下重建。 所以不需要數據複製,因爲RDDS可以從血統圖重新計算。 我的問題是: 如果一個節點出現故障,火花只會重新計算RDD分區失去了這個節點上,但哪裏的recompution過程所需的數據源從何而來?當節點失效時,你的意思是它的父RDD還在嗎?

    0熱度

    1回答

    我想在我們的HTCondor游泳池上運行不同批次的作業。比方說Type1的10個作業,Type2的20個作業等等。當前工作完成後,這些工作類型中的每一個都應該獲得新工作。 僅使用一種類型,如果所有作業都完成或者整個作業批處理的時間限制已過,則使用簡單查詢。如果滿足其中一個要求,則將x作業的下一次迭代提交給羣集。 function WaitForSims(CheckupDelay) whi

    0熱度

    1回答

    我們需要構建依靠數據庫集羣來保存數據的無狀態微服務。 對於使用數據庫集羣的冗餘無狀態微服務(爲了高可用性和可伸縮性),推薦使用什麼方法。例如:運行版本1.0的多個副本付款服務。 如果所有冗餘微服務使用一個共享數據庫架構還是應該有自己的模式?在冗餘服務之間可能存在獨立的DB架構不一致的情況下。 還怎麼能模式升級中常見的數據庫架構的情況下,如何處理?

    1熱度

    1回答

    分佈式系統建議使用奇數個主節點,如3個主節點或5個主節點以避免腦裂問題。 但是它是如何解決這個問題的? 如果有2個節點(A和B),1個主持人,如果A和B告訴主持人說:「我是大師」,那麼大腦發生分裂。主持人不能決定哪一個是主人。 如果有3個節點(A,B和C),那麼,如果2個節點說Master是A,則主持人可以決定A是母版。 但如果死了,然後主持人不得不從B和C中選擇一個主會發生什麼,如果B和C分不清

    10熱度

    1回答

    我正在研究一個應用程序,該應用程序經常查詢大量的參與者,因此發送/接收的消息數量非常大。當應用程序在單臺機器上運行時,這不是問題,因爲這些消息是在單個JVM的邊界內發送的,速度非常快。但是,當我在多個節點上運行應用程序(使用akka集羣)時,每個節點都託管這些角色的一部分,並且消息通過網絡變得非常緩慢。 我想出的一個解決方案是在運行應用程序的每個節點上都有一個ManagerActor。這將大大減少

    1熱度

    2回答

    如下圖所示: 我的星火的工作有三個階段: 0. groupBy 1. repartition 2. collect 階段0和1是相當輕巧,但第2階段是非常CPU密集型。 是否可以針對一個Spark作業的不同階段進行不同配置? 我想過把這個Spark作業分成兩個子作品,但是這打破了使用Spark的目的,它將所有中間結果存儲在內存中。這也將大大延長我們的工作時間。 有什麼想法嗎?

    1熱度

    1回答

    我需要訪問發件人 actor當Patterns.ask()調用。例如: ActorSystem system = ActorSystem.create("MySystem"); ActorRef actor = system.create(..., "MyActor"); Future<Object> futureResult = Patterns.ask(actor, new Questio

    0熱度

    1回答

    我有一個異構計算羣集,我想在使用OpenMPI時運行並行計算任務。由於不是羣集中的所有節點都可以運行相同的可執行文件(由於存在異構性),我希望某些節點可以編譯它們自己的程序版本,並使Open MPI在這些節點上調用該可執行文件。我的第一個問題是OpenMPI是否支持跨異構體系結構的這種計算。 如果是這樣,我的第二個問題是如何指定哪些可執行文件在哪些節點上運行。例如可以說node0,node1和no