User Tools

Site Tools


自作クラスタ計算機:mpiによる並列計算

Differences

This shows you the differences between two versions of the page.

Link to this comparison view

Both sides previous revision Previous revision
Next revision
Previous revision
Next revision Both sides next revision
自作クラスタ計算機:mpiによる並列計算 [2020/03/02 17:35]
koudai
自作クラスタ計算機:mpiによる並列計算 [2020/03/03 15:33]
koudai [ノード内並列計算]
Line 2: Line 2:
  
   * 実際にMPIを用いたノード内およびノード間の並列計算を行います   * 実際にMPIを用いたノード内およびノード間の並列計算を行います
-  * 事前にOpenMPIMPICH2などのMPIライブラリを管理ノードにインストールしてください +  * 事前にOpenMPIMPICH2, Intel MPIなどのMPIライブラリを管理ノードにインストールしてください 
-  * 例えばOpenMPIであれば次のようにインストールできす<code>+  * OpenMPIの場合、次のようにaptで簡単にインストールできるので、特にこだわりがなければお勧めです<code>
 $ sudo apt install openmpi-bin libopenmpi-dev $ sudo apt install openmpi-bin libopenmpi-dev
 </code> </code>
 +  * **複数のMPIを一つのコンピュータに入れると、競合を起こしてMPIが動かなくなります**
  
 ====== 準備 ====== ====== 準備 ======
Line 96: Line 96:
     name[len] = '\0';     name[len] = '\0';
          
-    printf( "Hello World! I am %d of %d from %s.\n", rank, size, name );+    printf( "Hello world: rank %d of %d running on %s\n", rank, size, name );
  
     MPI_Finalize();     MPI_Finalize();
Line 107: Line 107:
 $ mpiicc -o hello hello.c   # Intel MPIを使用する場合 $ mpiicc -o hello hello.c   # Intel MPIを使用する場合
 </code> </code>
-  * 管理ノード(4スレッド)で走らせてみます<code> +  * 試しに管理ノードで走らせてみます<code> 
-$ mpirun -n 4 hello +$ mpirun -n 4 ./hello 
-Hello World! I am 0 of 4 from kanri. +Hello world: rank 0 of 4 running on kanri 
-Hello World! I am 1 of 4 from kanri. +Hello world: rank 1 of 4 running on kanri 
-Hello World! I am 2 of 4 from kanri. +Hello world: rank 2 of 4 running on kanri 
-Hello World! I am 3 of 4 from kanri.+Hello world: rank 3 of 4 running on kanri
 </code> </code>
  
  
  
-===== ノード内並列 =====+===== ノード内並列計算 =====
  
 指定した計算ノードにジョブを投げてみます。 指定した計算ノードにジョブを投げてみます。
  
-  * MPIで指定のホストに投げる場合は、mpirunコマンドの最後にホスト名を入力します +  * MPIで指定のホストに投げる場合は、オプショ<nowiki>-host</nowiki>でホスト名を指定します 
-  * 計算ノードkeisan11にジョブを投げる場合は次のようにします<code> +  * 計算ノードのkeisan11ジョブを投げる場合は次のようにします<code> 
-$ mpirun -n 24 hello keisan11 +$ mpirun -n 8 -host keisan11 ./hello 
-Hello World! I am 0 of 24 from keisan11. +Hello world: rank 0 of 8 running on keisan11 
-Hello World! I am 1 of 24 from keisan11+Hello world: rank 1 of 8 running on keisan11 
-Hello World! I am 2 of 24 from keisan11+Hello world: rank 2 of 8 running on keisan11 
-Hello World! I am 3 of 24 from keisan11.+Hello world: rank 3 of 8 running on keisan11 
 +Hello world: rank 4 of 8 running on keisan11 
 +Hello world: rank 5 of 8 running on keisan11 
 +Hello world: rank 6 of 8 running on keisan11 
 +Hello world: rank 7 of 8 running on keisan11 
 +</code> 
 + 
 + 
 +===== ノード間並列計算 ===== 
 + 
 +==== 通常の使い方 ==== 
 + 
 +複数の計算ノードにわたるジョブを投げてみます。 
 + 
 +  * オプション<nowiki>-hosts</nowiki>で複数のホスト名を指定します 
 +  * 計算ノードkeisan11, keisan12, keisan13にジョブを投げる場合は次のようにします<code> 
 +$ mpirun -n 72 -hosts keisan11,keisan12,keisan13 ./hello 
 +Hello World! I am 0 of 72 from keisan11. 
 +Hello World! I am 1 of 72 from keisan12
 +Hello World! I am 2 of 72 from keisan13
 +Hello World! I am 3 of 72 from keisan11
 +Hello World! I am 4 of 72 from keisan12. 
 +Hello World! I am 5 of 72 from keisan13.
 (以下略) (以下略)
 </code> </code>
 +
 +==== ホストファイルによるジョブの投入 ====
 +
 +例えば計算ノードによって性能に差がある場合など、ノードごとのプロセス数を自分で管理したい場合はホストファイルを作成します。
 +
 +  * MPICH, Intel MPIの場合
 +<file - my_hosts>
 +keisan11:2
 +keisan12:3
 +</file>
 +  * OpenMPIの場合
 +<file - my_hosts>
 +keisan11 slots=2
 +keisan12 slots=3
 +</file>
 +
 +次のように実行します
 +<code>
 +$ mpirun -n 6 -f my_hosts ./hello
 +Hello World; rank 0 of 6 running on keisan11.
 +Hello World! I am 1 of 6 from keisan11.
 +Hello World! I am 2 of 6 from keisan12.
 +Hello World! I am 3 of 6 from keisan12.
 +Hello World! I am 4 of 6 from keisan12.
 +Hello World! I am 5 of 6 from keisan11.
 +</code>
 +    * プロセスは keisan11 -> keisan11 -> keisan12 -> keisan12 -> keisan12 -> keisan11 -> keisan11 -> keisan12 -> keisan12 -> keisan12 -> keisan11 -> ... の順に割り振られて行きます
 +    * Intel MPIの場合は<nowiki>-f</nowiki>の代わりに<nowiki>-machinefile</nowiki>あるいは<nowiki>-machine</nowiki>を使用してください
 +      * https://software.intel.com/en-us/articles/controlling-process-placement-with-the-intel-mpi-library 
  
 ====== 参考 ====== ====== 参考 ======
自作クラスタ計算機/mpiによる並列計算.txt · Last modified: 2023/12/26 23:43 by koudai