雑多な記録

User Tools

Site Tools

Trace: • openpbs_v23の基本設定
自作クラスタ計算機:openpbs_v23の基本設定

Differences

This shows you the differences between two versions of the page.

Link to this comparison view

Both sides previous revisionPrevious revision
Next revision		Previous revision
自作クラスタ計算機:openpbs_v23の基本設定 [2026/06/29 16:27] – [アンインストール] koudai自作クラスタ計算機:openpbs_v23の基本設定 [2026/07/03 02:44] (current) – [PBSの設置] koudai
Line 40: Line 40:
   * /opt   * /opt
 が計算ノードと共有されているとします。 が計算ノードと共有されているとします。
-また、ユーザー情報とhostsもLDAPによって共有されているとします。+また、ユーザー情報とhostsも共有されているとします。
 ===== 準備 ===== ===== 準備 =====
  
 ==== SSHの設定 ==== ==== SSHの設定 ====
  
-パスフレーズ無しでSSHログインできるようにします。+パスフレーズ無しで計算ノードにSSHログインできるようにします。
 PBSを使用する全ユーザーは、管理ノードで以下を実行してください。 PBSを使用する全ユーザーは、管理ノードで以下を実行してください。
  
Line 53: Line 53:
 $ chmod 600 ~/.ssh/authorized_keys $ chmod 600 ~/.ssh/authorized_keys
 $ echo "StrictHostKeyChecking no" >> ~/.ssh/config $ echo "StrictHostKeyChecking no" >> ~/.ssh/config
-</code> 
-==== UFWの設定 ==== 
- 
-ファイアウォールにUFWを使っている場合、プライベートLAN内の通信をすべて許可してやります。 
-管理ノードで以下のコマンドを実行します。 
- 
-<code> 
-$ sudo ufw allow from 192.168.0.0/24 
 </code> </code>
  
Line 67: Line 59:
 管理ノードと計算ノードで行います 管理ノードと計算ノードで行います
  
-    * 192.168.0.1のホスト名と自己参照アドレス(localhost)127.0.1.1のホスト名が同じだとPBSが動かなくなるので削除します。<code>$ sudo nano /etc/hosts</code><file - hosts>+    * 192.168.0.1のホスト名と自己参照アドレス(localhost)127.0.1.1のホスト名が同じだとPBSが動かなくなるのでコメントアウトします。<code>$ sudo nano /etc/hosts</code><file - hosts>
 127.0.0.1 localhost 127.0.0.1 localhost
 +#127.0.1.1 head
  
 # The following lines are desirable for IPv6 capable hosts # The following lines are desirable for IPv6 capable hosts
Line 122: Line 115:
 $ sudo nano /etc/pbs.conf $ sudo nano /etc/pbs.conf
 </code><file - pbs.conf> </code><file - pbs.conf>
-PBS_SERVER=node01+PBS_SERVER=head
 PBS_START_SERVER=1 PBS_START_SERVER=1
 PBS_START_SCHED=1 PBS_START_SCHED=1
Line 157: Line 150:
 $ sudo nano /etc/pbs.conf $ sudo nano /etc/pbs.conf
 </code><file - pbs.conf> </code><file - pbs.conf>
-PBS_SERVER=node01+PBS_SERVER=head
 PBS_START_SERVER=0 PBS_START_SERVER=0
 PBS_START_SCHED=0 PBS_START_SCHED=0
Line 244: Line 237:
 set node node11 resources_available.mem = 131666992kb set node node11 resources_available.mem = 131666992kb
 set node node11 resources_available.ncpus = 24 set node node11 resources_available.ncpus = 24
-set node node11 resources_available.vnode = node10+set node node11 resources_available.vnode = node11
 set node node11 resv_enable = True set node node11 resv_enable = True
 </code> </code>
Line 259: Line 252:
 </code> </code>
  
-  * 計算ノードになんらかのトラブルがあって認識されていない場合は state = state-unknown （あるいはdown）と表示されます。管理ノードから計算ノードにSSHで正しく接続できるにも関わらずこのようなメッセージが出る場合は、計算ノードのPBSを再起動、それでも認識しない場合はノード自体を再起動します<code>+  * 計算ノードになんらかのトラブルがあって認識されていない場合は state = state-unknown （あるいはdown）と表示されます。管理ノードから計算ノードにSSHで正しく接続できるにも関わらずこのようなメッセージが出る場合は、計算ノードのPBSを再起動します<code>
 $ sudo /etc/init.d/pbs restart $ sudo /etc/init.d/pbs restart
-$ sudo reboot 
 </code> </code>
 ===== ジョブの実行 ===== ===== ジョブの実行 =====
Line 276: Line 268:
 $ qstat -s $ qstat -s
  
-node01: +head: 
                                                             Req'd  Req'd   Elap                                                             Req'd  Req'd   Elap
 Job ID          Username Queue    Jobname    SessID NDS TSK Memory Time  S Time Job ID          Username Queue    Jobname    SessID NDS TSK Memory Time  S Time
 --------------- -------- -------- ---------- ------ --- --- ------ ----- - ----- --------------- -------- -------- ---------- ------ --- --- ------ ----- - -----
-0.kanri        sugimoto workq    STDIN        9007   1   1    --    --  R 00:00+0.head        sugimoto workq    STDIN        9007   1   1    --    --  R 00:00
    Job run at Tue Dec 03 at 04:56 on (node11:ncpus=1)    Job run at Tue Dec 03 at 04:56 on (node11:ncpus=1)
 </code> </code>
Line 286: Line 278:
 ジョブが計算ノードnode11で実行されていることがわかります。 ジョブが計算ノードnode11で実行されていることがわかります。
  
-ジョブを終了または削除したい場合は qdel を使います+ジョブを強制終了したい場合は qdel を使います
 <code> <code>
-$ qdel 1.kanri+$ qdel <Job ID>
 </code> </code>
-  * <nowiki>$ qdel 1</nowiki> でも可 
  
  
Line 359: Line 350:
 <code> <code>
 $ qsub run.sh $ qsub run.sh
-1.node01+1.head
 </code> </code>
 結果を見てみます 結果を見てみます
Line 467: Line 458:
   * Ubuntu 26.04で確認   * Ubuntu 26.04で確認
  
-Supermicroのマザーボードだと、未使用ポートにローカルIPアドレス169.254.3.1が勝手に割り振られた上で、管理ノードにこのIPがこの計算ノードのIPアドレスだと登録されてしまうことがあります。 +SupermicroのIPMI LANポートが搭載されたマザーボードでは、そのポートにローカルIPアドレス169.254.3.1が自動で割り振られた上で、管理ノードにこのIPがこの計算ノードのIPアドレスだと登録されてしまうことがあります。 
-計算ノードにログインして、ログを確認すると+実際、計算ノードにログインして、ログを確認すると
  
 <code> <code>
 $ sudo tail -n 10 /var/spool/pbs/mom_logs/20260629 $ sudo tail -n 10 /var/spool/pbs/mom_logs/20260629
-06/29/2026 07:11:24;0c06;pbs_mom;TPP;pbs_mom(Thread 0);Connected to pbs_comm node01:17001+06/29/2026 07:11:24;0c06;pbs_mom;TPP;pbs_mom(Thread 0);Connected to pbs_comm head:17001
 06/29/2026 07:11:24;0001;pbs_mom;Svr;net_restore_handler;net restore handler called 06/29/2026 07:11:24;0001;pbs_mom;Svr;net_restore_handler;net restore handler called
-06/29/2026 07:11:24;0c06;pbs_mom;TPP;pbs_mom(Thread 0);Connection to pbs_comm node01:17001 down+06/29/2026 07:11:24;0c06;pbs_mom;TPP;pbs_mom(Thread 0);Connection to pbs_comm head:17001 down
 06/29/2026 07:11:24;0001;pbs_mom;Svr;net_down_handler;net down handler called 06/29/2026 07:11:24;0001;pbs_mom;Svr;net_down_handler;net down handler called
-06/29/2026 07:11:26;0c06;pbs_mom;TPP;pbs_mom(Thread 0);Registering address 169.254.3.1:15003 to pbs_comm node01:17001 +06/29/2026 07:11:26;0c06;pbs_mom;TPP;pbs_mom(Thread 0);Registering address 169.254.3.1:15003 to pbs_comm head:17001 
-06/29/2026 07:11:26;0c06;pbs_mom;TPP;pbs_mom(Thread 0);Registering address 192.168.0.27:15003 to pbs_comm node01:17001 +06/29/2026 07:11:26;0c06;pbs_mom;TPP;pbs_mom(Thread 0);Registering address 192.168.0.27:15003 to pbs_comm head:17001 
-06/29/2026 07:11:26;0c06;pbs_mom;TPP;pbs_mom(Thread 0);Connected to pbs_comm node01:17001+06/29/2026 07:11:26;0c06;pbs_mom;TPP;pbs_mom(Thread 0);Connected to pbs_comm head:17001
 06/29/2026 07:11:26;0001;pbs_mom;Svr;net_restore_handler;net restore handler called 06/29/2026 07:11:26;0001;pbs_mom;Svr;net_restore_handler;net restore handler called
-06/29/2026 07:11:26;0c06;pbs_mom;TPP;pbs_mom(Thread 0);Connection to pbs_comm node01:17001 down+06/29/2026 07:11:26;0c06;pbs_mom;TPP;pbs_mom(Thread 0);Connection to pbs_comm head:17001 down
 06/29/2026 07:11:26;0001;pbs_mom;Svr;net_down_handler;net down handler called 06/29/2026 07:11:26;0001;pbs_mom;Svr;net_down_handler;net down handler called
 </code> </code>
Line 529: Line 520:
       dhcp-identifier: mac       dhcp-identifier: mac
     enxbe3af2b6059f:     enxbe3af2b6059f:
-      optional: true 
       addresses: []       addresses: []
   version: 2   version: 2
Line 536: Line 526:
 <code> <code>
 $ sudo netplan apply $ sudo netplan apply
 +$ sudo /etc/init.d/pbs restart
 </code> </code>
  
自作クラスタ計算機/openpbs_v23の基本設定.1782718029.txt.gz · Last modified: 2026/06/29 16:27 by koudai