====== 概要 ======

  * 実際にMPIを用いたノード内およびノード間の並列計算を行います
  * 事前にOpenMPI, MPICH2, Intel MPIなどのMPIライブラリを管理ノードでビルドし、NFSによって計算ノードと共有してください -> [[数値計算ライブラリ:OpenMPI]]
  * /homeディレクトリはNFSサーバによって、管理ノードと計算ノードで共有されているとします

====== 準備 ======

===== ハードウェアの確認 =====

事前に各ノードのCPUのコア数（物理コア数）とスレッド数（論理コア数）を確認してください

  * CPU数<code>$ cat /proc/cpuinfo | grep "physical id"</code>
    * 出てきた数字の種類の数だけCPUがあります。0と1の2種類であれば、そのノードにはCPUが2つあります。 
  * CPUあたりのコア数<code>$ cat /proc/cpuinfo | grep "cpu cores"</code>
    * 出てきた数字がCPUあたりのコア数になります 
  * スレッド数<code>$ cat /proc/cpuinfo | grep "processor"</code>
    * 表示される行数が スレッド数 = CPU数 × CPUあたりのコア数 に対応します。通常は論理コア数と物理コア数は等しいですが、Intel Hyper-Threadingが有効の場合は論理コア数が物理コア数の2倍になります。 
      * Hyper-Threadingは見かけ上のコア数が2倍になる技術です。2つのプロセスを1つのCPU物理コアで実行するときに、効率よくリソースを割り振ります
      * OpenMPやMPIを使った並列計算をするときに物理コア数以上のプロセス数を割り当てても、トータルの計算速度にほとんどご利益がない（遅くなることもある）ことが多いです
      * BIOSからHyper-Threadingをオフにすることもできます


===== SSHの導入 =====

管理ノードと計算ノードの間の通信はSSHで行います。
  * 現状のままだと管理ノードから計算ノードへ入る際にパスワードの入力が必要ですが、ジョブ投入のたびにパスワードを入力するのは現実的ではありません。
  * そこでパスフレーズなしのSSH鍵を作成することで、パスワードの入力を回避します

  - 管理ノードのジョブを投げるユーザーのアカウント（以下ではsugimotoとします）にログインし、SSH鍵を作成します。パスフレーズを聞かれるところでは**なにも入力せずに**エンターを押します<code>
$ ssh-keygen -t rsa
Generating public/private rsa key pair.
Enter file in which to save the key (/home/sugimoto/.ssh/id_rsa): 
Created directory '/home/sugimoto/.ssh'.
Enter passphrase (empty for no passphrase): 
Enter same passphrase again: 
Your identification has been saved in /home/sugimoto/.ssh/id_rsa.
Your public key has been saved in /home/sugimoto/.ssh/id_rsa.pub.
The key fingerprint is:
SHA256:ZLnV/uJ8+lml7EdU+j8sjGJdxqF6F+tyg8FrD2hP3hI sugimoto@kanri
The key's randomart image is:
+---[RSA 2048]----+
|                 |
|         . .    .|
|        + . .  ..|
|       o o . .. .|
|        S . + .o.|
|          .E B .+|
|         ooo@ B.o|
|        .++%oX.=o|
|        . +o@B*..|
+----[SHA256]-----+
</code>
  - 公開鍵を設置します<code>
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
</code>
    * NFSサーバを設置しているので、管理ノードにおいてある鍵は計算ノードでも見えます
  - 初回接続時に表示されるメッセージを抑制させます<code>
$ echo "StrictHostKeyChecking no" >> ~/.ssh/config
</code>
  - 権限を変更します<code>
$ chmod 600 ~/.ssh/id_rsa
$ chmod 600 ~/.ssh/authorized_keys
$ chmod 700 ~/.ssh/
</code>
  - 実際にパスワード無しで計算ノードにログインできるか確かめます<code>
$ ssh keisan11
</code>

====== 並列計算 ======

作業は全て管理ノードで行います
  * mpirunを実行するノード（管理ノード）とプログラムを動かすノード（計算ノード）が異なる場合は、mpirunを実行したノードと同じ名前のディレクトリに移動してプログラムを動かす仕組みになっています
  * 今回生成したクラスタマシンでは、NFSサーバの機能により、管理ノードにあるプログラムが全ノードに配布されます



===== サンプルプログラム =====

次のコードを使って説明します

<file c hello.c>
#include <stdio.h>
#include "mpi.h"

int main( int argc, char *argv[] )
{
    int     rank, size, len;
    char    name[MPI_MAX_PROCESSOR_NAME];

    MPI_Init( &argc, &argv );
    MPI_Comm_rank( MPI_COMM_WORLD, &rank );
    MPI_Comm_size( MPI_COMM_WORLD, &size );
    MPI_Get_processor_name( name, &len );
    name[len] = '\0';
    
    printf( "Hello world: rank %d of %d running on %s\n", rank, size, name );

    MPI_Finalize();
    return 0;
}
</file>

  * プログラムのコンパイルは次のようにします<code>
$ mpicc -o hello hello.c
$ mpiicc -o hello hello.c   # Intel MPIを使用する場合
</code>
  * 試しに管理ノードで走らせてみます<code>
$ mpirun -n 4 ./hello
Hello world: rank 0 of 4 running on kanri
Hello world: rank 1 of 4 running on kanri
Hello world: rank 2 of 4 running on kanri
Hello world: rank 3 of 4 running on kanri
</code>



===== ノード内並列計算 =====

指定した計算ノードにジョブを投げてみます。

  * MPIで指定のホストに投げる場合は、オプション<nowiki>-hosts</nowiki>でホスト名を指定します
  * 計算ノードのkeisan11にジョブを投げる場合は次のようにします<code>
$ mpirun -hosts keisan11 -n 8 ./hello
Hello world: rank 0 of 8 running on keisan11
Hello world: rank 1 of 8 running on keisan11
Hello world: rank 2 of 8 running on keisan11
Hello world: rank 3 of 8 running on keisan11
Hello world: rank 4 of 8 running on keisan11
Hello world: rank 5 of 8 running on keisan11
Hello world: rank 6 of 8 running on keisan11
Hello world: rank 7 of 8 running on keisan11
</code>
    * ホスト名の代わりにIPアドレスでも可能です


===== ノード間並列計算 =====

==== 通常の使い方 ====

複数の計算ノードにわたるジョブを投げてみます。

  * 計算ノードkeisan11, keisan12, keisan13にジョブを投げる場合は次のようにします<code>
$ mpirun -hosts keisan11,keisan12,keisan13 -n 8 -ppn 2 ./hello
Hello world: rank 0 of 8 running on keisan11
Hello world: rank 1 of 8 running on keisan11
Hello world: rank 2 of 8 running on keisan12
Hello world: rank 3 of 8 running on keisan12
Hello world: rank 4 of 8 running on keisan13
Hello world: rank 5 of 8 running on keisan13
Hello world: rank 6 of 8 running on keisan11
Hello world: rank 7 of 8 running on keisan11
</code>
  * オプション-ppnでノードあたりのプロセス数を指定します
  * プロセスは keisan11 -> keisan11 -> keisan12 -> keisan12 -> keisan13 -> keisan13 -> keisan11 -> keisan11 -> keisan12 -> ... の順に割り振られていきます

==== ホストファイルによるジョブの投入 ====

ホスト名を毎回入力したくない、計算ノードによってプロセス数を変えたいなどの場合は、ホストファイルを作成します。

  * OpenMPIの場合
<file - hosts.txt>
keisan11 slots=2
keisan12 slots=4
</file>
  * MPICH, Intel MPIの場合
<file - hosts.txt>
keisan11:2
keisan12:4
</file>

次のように実行します
<code>
$ mpirun -n 6 -f hosts.txt ./hello
Hello world: rank 0 of 6 running on keisan11
Hello world: rank 1 of 6 running on keisan11
Hello world: rank 2 of 6 running on keisan12
Hello world: rank 3 of 6 running on keisan12
Hello world: rank 4 of 6 running on keisan12
Hello world: rank 5 of 6 running on keisan12
</code>
    * プロセスは keisan11 -> keisan11 -> keisan12 -> keisan12 -> keisan12 -> keisan12 -> keisan11 -> keisan11 -> keisan12 -> keisan12 -> keisan12 -> keisan12 -> keisan11 -> ... の順に割り振られて行きます
    * Intel MPIの場合は<nowiki>-f</nowiki>の代わりに<nowiki>-machinefile</nowiki>を使用してください
      * https://software.intel.com/en-us/articles/controlling-process-placement-with-the-intel-mpi-library 

====== 参考 ======

  * https://www.hpci-office.jp/pages/seminar_texts