distributed-computing

    0熱度

    2回答

    我已經嘗試了IceStorm Clock演示應用程序的方法,但一旦它進入運行(),它只是呆在那裏

    1熱度

    1回答

    我是Condor的新手,想要在Condor上運行我的Python程序,但是很難做到這一點。我找到的所有教程都假設一個單獨的Python程序,但是我的Python程序由多個包和文件組成,還使用其他庫如numpy和scipy。在那種情況下,我如何讓Condor運行我的程序?我應該將程序轉換成某種可執行文件嗎?或者,是否有任何將Python源代碼轉換到Condor機器並使Condor上的Python運行

    1熱度

    1回答

    我知道卡夫卡不是K/V店,但忍受着我。假設它大致使用下面的k/v API實現。每個鍵是一個主題,並且鍵的當前「值」被寫入到該主題的最後一條消息: put(key, value) --> publish(topic=key, message=value) get(key) --> consume(topic=key, offset = last_offset - 1) 此外,假設狀態不同卡夫卡

    0熱度

    1回答

    我目前有一個本地運行的R代碼。它包含一個使用%dopar%函數成功並行化的foreach部分。我希望將此循環從單個CPU上的並行轉換轉換爲Hadoop服務器上的分發。 有人可以告訴我一個合適的方法,我應該使用哪些軟件包? 附加信息:我的Hadoop設置是一個Hortonworks HDP,我的foreach循環是尷尬的並行。我希望能夠從本地並行化到集羣分發以提高速度。只有計算/處理需要在羣集上完成

    1熱度

    1回答

    我的應用程序基於Java的Play Framework。我只是通過將相同的應用程序部署到多個服務器上並在它們之間分配Web請求來進行分發。每個節點將連接到同一個數據庫。 Play Framework已經使用Netty,所以我可以選擇使用HTTP請求進行節點之間的通信,但我不確定如何保護這些請求中的一部分,以便其中一些可以從瀏覽器中調用,即我正在使用該框架的網站仍然可以調用某些路由/ API端點,而

    4熱度

    1回答

    我試圖使用Redis的set命令來實現一個最簡單的分佈式鎖定組件,但我無法通過官方文檔找到關於原子性的確切依據,Redis的'SET key value [EX seconds] [PX milliseconds] [NX|XX]命令是一個原子操作嗎?

    0熱度

    1回答

    我有一個實現這樣一個比較類: public class MyObject<T> { public static class MyObjectComp<T> implements Comparator<MyObject<T>> { private LinkedHashSet<Integer> attrList; public MyObjectCo

    1熱度

    1回答

    我有一個要求,我找不到使用榛樹IMap和ILock結構的解決方案。 我需要跟蹤通過分佈式映射獲取的所有鎖定(在成功完成IMap.tryLock(K鍵)調用後獲取的鎖定)。 每個成功獲取的鎖都必須與地圖中的自定義對象關聯/配對以進行跟蹤。 (這些自定義對象包含用於監視目的的特定於應用程序的更衣室信息。) 我想要的是,當成功獲取鎖定時,與鎖有關的相關自定義對象必須以自動方式自動放置到地圖。 並且當鎖被

    1熱度

    2回答

    我使用的是運行時版本2.11和Flink Core 1.1.2的舊版本Apache Flink。由於與其他庫的兼容性問題,我無法將其升級到較新的Apache Flink。我試圖禁用運行時的節點日誌記錄,以儘量減少執行時間。我試着用下面的代碼,但消息顯示nethertheless: Log4jLoggerAdapter logger = (Log4jLoggerAdapter)LoggerFacto

    1熱度

    1回答

    我正在查看Graph Engine(不要與MSFT AD Graph混淆),但我對分佈式「fanout search」有疑問。 從我可以告訴 對象保存在跨N臺服務器分佈式的方式。 N臺服務器的這種分配不能在運行時改變 基於某些配置設置,也可以是「只讀」 沒有「認證」的節點之間,就命令這是完全信任有效。 我感到困惑 以什麼方式是數據分片/跨節點劃分? 在寫入過程中可能成爲瓶頸的「全局鎖」有多大侵入性