自作クラスタ計算機:pbs_proの基本設定
Differences
This shows you the differences between two versions of the page.
Both sides previous revisionPrevious revisionNext revision | Previous revision | ||
自作クラスタ計算機:pbs_proの基本設定 [2023/02/16 06:03] – [管理ノードでの作業] koudai | 自作クラスタ計算機:pbs_proの基本設定 [2023/12/26 23:49] (current) – [計算ノードの登録] koudai | ||
---|---|---|---|
Line 12: | Line 12: | ||
* Ubuntu 20.04 LTS | * Ubuntu 20.04 LTS | ||
+ | * 管理ノードと計算ノードで、OSはバージョンも含めて同一のものを使用してください | ||
+ | |||
+ | |||
====== 構成 ====== | ====== 構成 ====== | ||
Line 123: | Line 126: | ||
$ sudo / | $ sudo / | ||
</ | </ | ||
- | - いったんログアウトして、再ログインします(インストール時に設置された | + | - 環境変数を読み込む設定をします。すべてのユーザーがPBSを使えるように /etc/bash.bashrcを編集します< |
- | $ exit | + | $ sudo vim / |
- | </ | + | </ |
+ | (略) | ||
+ | . / | ||
+ | </ | ||
+ | - いったんログアウトして、再ログインします | ||
===== 計算ノードでの作業 ===== | ===== 計算ノードでの作業 ===== | ||
Line 135: | Line 142: | ||
$ sudo update-rc.d pbs defaults | $ sudo update-rc.d pbs defaults | ||
</ | </ | ||
- | * 管理ノードと計算ノードでOSのバージョンが異なる場合はインストールがうまくいかないことがあります。そのときは計算ノードでも「PBS Proのコンパイルに必要なもの」をインストールした後、管理ノードと同様に make を行ってください。その際はNFSの共有ディレクトリにインストールしないようprefixを変更してください。 | ||
- 設定ファイルで PBS_START_MOM=1 とすることで、このノードが計算ノードであることを指定します。またPBSサーバのホスト名を PBS_SERVER で設定します。< | - 設定ファイルで PBS_START_MOM=1 とすることで、このノードが計算ノードであることを指定します。またPBSサーバのホスト名を PBS_SERVER で設定します。< | ||
$ sudo vi / | $ sudo vi / | ||
Line 209: | Line 215: | ||
Qmgr: set node keisan12 resources_available.ncpus=24 | Qmgr: set node keisan12 resources_available.ncpus=24 | ||
... | ... | ||
+ | </ | ||
+ | |||
+ | ノードの設定状況も確認できます | ||
+ | < | ||
+ | Qmgr: print node keisan11 | ||
+ | # | ||
+ | # Create nodes and set their properties. | ||
+ | # | ||
+ | # | ||
+ | # Create and define node yagami11 | ||
+ | # | ||
+ | create node yagami11 | ||
+ | set node keisan11 state = free | ||
+ | set node keisan11 resources_available.arch = linux | ||
+ | set node keisan11 resources_available.host = keisan11 | ||
+ | set node keisan11 resources_available.mem = 131666992kb | ||
+ | set node keisan11 resources_available.ncpus = 24 | ||
+ | set node keisan11 resources_available.vnode = keisan11 | ||
+ | set node keisan11 resv_enable = True | ||
</ | </ | ||
Line 259: | Line 284: | ||
===== MPIの設置 ===== | ===== MPIの設置 ===== | ||
- | * OpenMPI, MPICH2, Intel MPIなどのMPIライブラリを管理ノードの / | + | * OpenMPI, MPICH2, Intel MPIなどのMPIライブラリを管理ノードの / |
- | * 学生であれば Intel Parallel Studio XE が無償で使えて便利です | + | |
===== ソースコード ===== | ===== ソースコード ===== | ||
Line 373: | Line 396: | ||
* ompthreadsはMPIの1プロセスあたりのOpenMPのスレッド数です | * ompthreadsはMPIの1プロセスあたりのOpenMPのスレッド数です | ||
- | * mpiprocs * ompthreads = ncpus となるようにしてください | + | * 基本的には |
- | * OpenMPのスレッド数は、1つの計算ノードに含まれるCPUコア数以下になるようにしてください | + | |
====== Fairshare ====== | ====== Fairshare ====== | ||
Line 382: | Line 404: | ||
* https:// | * https:// | ||
+ | |||
+ | ====== ノードごとの負荷の分散 ====== | ||
+ | |||
+ | ジョブを投入したら、デフォルトでは1番目の計算ノードにジョブを埋めていき、その計算ノードのリソースが全て埋まってから次の計算ノードでジョブが走るようになります。 | ||
+ | これを、各ノードの負荷を分散させるようにジョブが投入されるように変更します。 | ||
+ | |||
+ | 設定ファイル < | ||
+ | |||
+ | * 使用しているCPUのコア数が一番少ないノードにジョブを割り当てたい場合< | ||
+ | node_sort_key: | ||
+ | </ | ||
+ | |||
+ | * 使用していないCPUのコア数が一番多いノードにジョブを割り当てたい場合< | ||
+ | node_sort_key: | ||
+ | </ | ||
+ | |||
+ | (各計算ノードのコア数がすべて同じ場合は、どちらも同じ結果になります) | ||
+ | |||
+ | PBSを再起動します。 | ||
+ | |||
+ | < | ||
+ | sudo / | ||
+ | </ | ||
+ | |||
+ | * PBS Professional 2022.1 Administrator' | ||
====== アンインストール ====== | ====== アンインストール ====== | ||
Line 405: | Line 452: | ||
* [[https:// | * [[https:// | ||
- | |||
- | PBS Proはおそらく世界でもっとも使用されていると思われるジョブ管理ソフトです。 | ||
- | 例えば国内でも次のスパコンで採用されているのを確認しました。 | ||
- | |||
- | * 東京大学 物性研究所 スーパーコンピュータセンター | ||
- | * 京都大学 基礎物理学研究所 | ||
- | * 分子科学研究所 計算科学研究センター | ||
- | * 東北大学 金属材料研究所 計算材料学センター | ||
- | * 東京工業大学 学術国際情報センター | ||
====== 参考 ====== | ====== 参考 ====== |
自作クラスタ計算機/pbs_proの基本設定.1676495018.txt.gz · Last modified: 2023/02/16 06:03 by koudai