在不同的處理器中改變輸入參數

Question

我有一個具有不同輸入參數的程序，它們應該在程序中執行相同的功能。如何使每組輸入參數在網格中的不同處理器上工作？如果你有任何想法，請幫助。會真的幫助很多！程序使用C++

Answer 1

您需要指定您使用的並行範例。 MPI，OpenMP等等。

通常應用的方法是使用一些通信通道，並將參數向量從「主」進程發送到所有其他通道。

當它們相同時廣播參數是最常見的，但主要任務可以迭代一組參數，並通過1對1通信器將每個參數發送給彼此的任務。

有時參數是在一個或一組文件中準備的，每個任務讀取它自己的設置參數。

一切都取決於您的應用程序部署的網站和工作規模。即當你在超級計算機上有一百萬個工作任務時，文件方法可能是一個壞主意。

Answer 2

這取決於您使用的羣集資源管理器。大多數支持所謂的陣列作業，其中運行同一作業的許多實例，並且參數（通常是當前作業的簡單整數索引）通過環境傳遞。這就是我們所說的窮人的並行計算平臺:)

因爲我只廣泛用於的Sun Grid Engine（現Oracle網格引擎，也Open Grid Scheduler和Son of Grid Engine名下的開源叉存在）和平臺LSF（現在IBM LSF，也可以作爲非常類似的開源openlava作業調度程序），我只能寫關於它們（以及關於Torque的某種程度）。

隨着SGE陣列作業可能看起來是這樣的：

#!/usr/bin/env zsh 
#$ -cwd 
#$ -N jobname 
#$ -t 1-100 
## Other resource requirements 
#$ -l h_rt=0:30:00 
#$ -l h_mem=1200M 
#$ -pe openmp 12 

export OMP_NUM_THREADS=12 
density=$((SGE_TASK_ID * 0.06))  # zsh specific 
/path/to/executable -d density < input_${SGE_TASK_ID} > output_${SGE_TASK_ID} 

這裏-t 1-100參數qsub創造了100個任務，編號爲1到100陣列作業。 SGE傳遞SGE_TASK_ID環境變量中的當前任務編號。您可以使用它來選擇適當的輸入文件，或者可以使用它來計算其他輸入參數。 SGE會自動將作業的輸出和錯誤文件與任務ID一起後綴。請注意，在$(())中使用浮點文字似乎是zsh特定的。在轉矩

陣列作業準確創建的相同的方式經由-t參數SGE。扭矩之前的版本2.3 -t接受一個參數 - 任務的數量，然後從0這個數減1號任務，扭矩2.3一個開始可以像SGE指定範圍：

#!/usr/bin/env zsh 
#PBS -N jobname 
#PBS -l nodes=1,walltime=00:30:00 
#PBS -t 1-100 

cd ${PBS_O_WORKDIR} 

export OMP_NUM_THREADS=12 
density=$((PBS_ARRAYID * 0.06))  # zsh specific 
/path/to/executable -d density < input_${PBS_ARRAYID} > output_${PBS_ARRAYID} 

與上海黃金交易所的主要區別是任務ID環境變量名爲PBS_ARRAYID。請參見扭矩手冊中​​的Job Submission部分。

隨着LSF陣列作業可能看起來是這樣的：

#!/usr/bin/env zsh 

#BSUB -J jobname[1-100] 
# Have separate error file for each job 
#BSUB -e error_%I 
# Other resource requirements, e.g. 
#BSUB -W 0:30 
#BSUB -M 1200 
#BSUB -n 1 
#BSUB -x 

export OMP_NUM_THREADS=12 
density=$((LSF_JOBINDEX * 0.06))  # zsh specific 
/path/to/executable -d density < input_${LSF_JOBINDEX} > output_${LSF_JOBINDEX} 

下面附加的範圍內規範[1-100]後的作業名稱創建一個數組的工作。 LSF通過LSF_JOBINDEX環境變量傳遞任務ID。您可以完全按照與SGE情況相同的方式使用它。