cluster-computing

0熱度

1回答

我在我的數據集上計算HiCO和HiSC聚類算法。如果我沒有弄錯，算法在第一步中使用不同的方法來定義簇的相關子空間，而在第二步中，他們將OPTICS用於聚類。運行算法後，我只獲得了集羣訂單文件。有什麼辦法從中提取集羣？比如像OPTICSXi？（我知道在層次聚類下有3種提取方法，但HiCO或HiSC無法看到任何東西）預先感謝您提供任何提示

0熱度

3回答

只允許一個驅動程序在火花集羣上執行

我們有8個節點的火花集羣。每個小時將一個點火作業提交給羣集。如何配置羣集或寫入一些代碼，如果其中一個已經在羣集上運行，則不會在羣集上提交spark任務？

0熱度

1回答

SaveAsTextFile（）導致Mkdirs失敗 - Apache Spark

好，我目前有一個帶有3個工作節點的spark的集羣。我還有一個安裝在/var/nfs上的nfs服務器，並具有777許可權進行測試。我試圖運行下面的代碼在文本來算的話： [email protected]:/home/usuario# MASTER="spark://10.0.0.1:7077" spark-shell val inputFile = sc.textFile("/var/nfs/t

1熱度

2回答

grep qstat輸出和複製文件一旦完成

我在我的羣集上使用PBS作業調度程序。在bash，我想監視作業狀態，一旦工作完成，我想複製結果到特定位置（/數據/ MyFolder中/）我qstat命令輸出如下： JobID Username Queue Jobname SessID NDS TSK Memory Time Status -----------------------------------------------

3熱度

0回答

Docker羣發現仍然相關？

我正在學習docker swarm，並且對swarm discovery選項感到困惑，我看到很多互聯網上的教程都使用這個選項來創建docker-machine的容器，但是當我在docker swarm doc上輸入文檔時，它說：您正在查看舊版獨立羣組的文檔。這些主題描述了獨立的Docker Swarm。在Docker 1.12及更高版本中，Swarm模式與Docker Engine集成。大多數用

0熱度

1回答

是否有可能以及如何獲得我的mpi作業從slurm運行的核心列表？

問題：是否有可能，如果是，那麼如何獲得核心的列表我的mpi作業正在哪個特定時刻運行？很容易列出作業已分配到的節點，但在花了幾個小時花在瀏覽互聯網之後，我開始懷疑slurm以任何方式暴露核心列表（爲什麼它不會很難？）。問題是，我想仔細檢查一下，我正在處理的集羣是否真的像我要求的那樣跨節點，核心（如果可能，套接字）傳播我的作業進程你會）。請注意，hwloc不是我的問題的答案，我問是否有可能從sl

0熱度

1回答

作業崩潰後複製輸出

我有一個模擬羣集運行。我提交作業用qsub腳本，看起來像 #PBS directives #function to copy data copy_data() ... stuff ... ./my_simulation copy_data 但是，如果模擬崩潰的輸出是不可複製回來。我如何處理可執行文件中的錯誤？總的來說，我如何強制這項工作來複制數據？

3熱度

1回答

與SLURM和有限資源並行地運行MPI調用隊列

我試圖在使用SLURM的集羣上運行粒子羣優化問題，並使用由單核心matlab進程管理的優化算法。每個粒子評估都需要在兩個Python程序之間交替進行多個MPI調用，直到結果收斂。每個MPI呼叫最多需要20分鐘。我最初很天真地將每個MPI調用作爲一個單獨的SLURM作業提交，但由此產生的排隊時間使得它比本地串行運行每個作業要慢。我現在試圖找出提交N節點作業的方法，該作業將持續運行MPI任務以利用可

0熱度

2回答

Hazelcast在運行時

我已創建了一個集羣 private static final String IP_CLUSTER = "192.168.0.116:5701"; Config cfg = new Config(); // set IP of cluster cfg.getNetworkConfig().getJoin().getTcpIpConfig().addMember(IP_CLUSTER).set

0熱度

1回答

pyclustering使用CCORE實施

在網站pyclustering筆者提到： There is ability to use python code implementation only or CCORE (C/C++) implementation using special flag. 但沒有任何例子，如何使用特殊標誌。有沒有人知道如何使用它？