雑多な記録

User Tools

Site Tools

Trace: • openpbs_v23の基本設定
自作クラスタ計算機:openpbs_v23の基本設定

Differences

This shows you the differences between two versions of the page.

Link to this comparison view

Both sides previous revisionPrevious revision
Next revision		Previous revision
自作クラスタ計算機:openpbs_v23の基本設定 [2026/06/29 04:28] – [計算ノードの登録] koudai自作クラスタ計算機:openpbs_v23の基本設定 [2026/07/03 02:44] (current) – [PBSの設置] koudai
Line 40: Line 40:
   * /opt   * /opt
 が計算ノードと共有されているとします。 が計算ノードと共有されているとします。
-また、ユーザー情報とhostsもLDAPによって共有されているとします。+また、ユーザー情報とhostsも共有されているとします。
 ===== 準備 ===== ===== 準備 =====
  
 ==== SSHの設定 ==== ==== SSHの設定 ====
  
-パスフレーズ無しでSSHログインできるようにします。+パスフレーズ無しで計算ノードにSSHログインできるようにします。
 PBSを使用する全ユーザーは、管理ノードで以下を実行してください。 PBSを使用する全ユーザーは、管理ノードで以下を実行してください。
  
Line 53: Line 53:
 $ chmod 600 ~/.ssh/authorized_keys $ chmod 600 ~/.ssh/authorized_keys
 $ echo "StrictHostKeyChecking no" >> ~/.ssh/config $ echo "StrictHostKeyChecking no" >> ~/.ssh/config
-</code> 
-==== UFWの設定 ==== 
- 
-ファイアウォールにUFWを使っている場合、プライベートLAN内の通信をすべて許可してやります。 
-管理ノードで以下のコマンドを実行します。 
- 
-<code> 
-$ sudo ufw allow from 192.168.0.0/24 
 </code> </code>
  
Line 67: Line 59:
 管理ノードと計算ノードで行います 管理ノードと計算ノードで行います
  
-    * 192.168.0.1のホスト名と自己参照アドレス(localhost)127.0.1.1のホスト名が同じだとPBSが動かなくなるので削除します。<code>$ sudo nano /etc/hosts</code><file - hosts>+    * 192.168.0.1のホスト名と自己参照アドレス(localhost)127.0.1.1のホスト名が同じだとPBSが動かなくなるのでコメントアウトします。<code>$ sudo nano /etc/hosts</code><file - hosts>
 127.0.0.1 localhost 127.0.0.1 localhost
 +#127.0.1.1 head
  
 # The following lines are desirable for IPv6 capable hosts # The following lines are desirable for IPv6 capable hosts
Line 122: Line 115:
 $ sudo nano /etc/pbs.conf $ sudo nano /etc/pbs.conf
 </code><file - pbs.conf> </code><file - pbs.conf>
-PBS_SERVER=node01+PBS_SERVER=head
 PBS_START_SERVER=1 PBS_START_SERVER=1
 PBS_START_SCHED=1 PBS_START_SCHED=1
Line 157: Line 150:
 $ sudo nano /etc/pbs.conf $ sudo nano /etc/pbs.conf
 </code><file - pbs.conf> </code><file - pbs.conf>
-PBS_SERVER=node01+PBS_SERVER=head
 PBS_START_SERVER=0 PBS_START_SERVER=0
 PBS_START_SCHED=0 PBS_START_SCHED=0
Line 241: Line 234:
 set node node11 state = free set node node11 state = free
 set node node11 resources_available.arch = linux set node node11 resources_available.arch = linux
-set node node11 resources_available.host = node10+set node node11 resources_available.host = node11
 set node node11 resources_available.mem = 131666992kb set node node11 resources_available.mem = 131666992kb
 set node node11 resources_available.ncpus = 24 set node node11 resources_available.ncpus = 24
-set node node11 resources_available.vnode = node10+set node node11 resources_available.vnode = node11
 set node node11 resv_enable = True set node node11 resv_enable = True
 </code> </code>
Line 259: Line 252:
 </code> </code>
  
-  * 計算ノードになんらかのトラブルがあって認識されていない場合は state = state-unknown （あるいはdown）と表示されます。管理ノードから計算ノードにSSHで正しく接続できるにも関わらずこのようなメッセージが出る場合は、計算ノードのPBSを再起動、それでも認識しない場合はノード自体を再起動します<code>+  * 計算ノードになんらかのトラブルがあって認識されていない場合は state = state-unknown （あるいはdown）と表示されます。管理ノードから計算ノードにSSHで正しく接続できるにも関わらずこのようなメッセージが出る場合は、計算ノードのPBSを再起動します<code>
 $ sudo /etc/init.d/pbs restart $ sudo /etc/init.d/pbs restart
-$ sudo reboot 
 </code> </code>
 ===== ジョブの実行 ===== ===== ジョブの実行 =====
Line 276: Line 268:
 $ qstat -s $ qstat -s
  
-node01: +head: 
                                                             Req'd  Req'd   Elap                                                             Req'd  Req'd   Elap
 Job ID          Username Queue    Jobname    SessID NDS TSK Memory Time  S Time Job ID          Username Queue    Jobname    SessID NDS TSK Memory Time  S Time
 --------------- -------- -------- ---------- ------ --- --- ------ ----- - ----- --------------- -------- -------- ---------- ------ --- --- ------ ----- - -----
-0.kanri        sugimoto workq    STDIN        9007   1   1    --    --  R 00:00+0.head        sugimoto workq    STDIN        9007   1   1    --    --  R 00:00
    Job run at Tue Dec 03 at 04:56 on (node11:ncpus=1)    Job run at Tue Dec 03 at 04:56 on (node11:ncpus=1)
 </code> </code>
Line 286: Line 278:
 ジョブが計算ノードnode11で実行されていることがわかります。 ジョブが計算ノードnode11で実行されていることがわかります。
  
-ジョブを終了または削除したい場合は qdel を使います+ジョブを強制終了したい場合は qdel を使います
 <code> <code>
-$ qdel 1.kanri+$ qdel <Job ID>
 </code> </code>
-  * <nowiki>$ qdel 1</nowiki> でも可 
  
  
Line 359: Line 350:
 <code> <code>
 $ qsub run.sh $ qsub run.sh
-1.node01+1.head
 </code> </code>
 結果を見てみます 結果を見てみます
Line 459: Line 450:
 </code> </code>
  
 +
 +
 +====== トラブルシューティング ======
 +
 +===== Supermicroのマザボを使った計算ノードが認識されない =====
 +
 +  * Ubuntu 26.04で確認
 +
 +SupermicroのIPMI LANポートが搭載されたマザーボードでは、そのポートにローカルIPアドレス169.254.3.1が自動で割り振られた上で、管理ノードにこのIPがこの計算ノードのIPアドレスだと登録されてしまうことがあります。
 +実際、計算ノードにログインして、ログを確認すると
 +
 +<code>
 +$ sudo tail -n 10 /var/spool/pbs/mom_logs/20260629
 +06/29/2026 07:11:24;0c06;pbs_mom;TPP;pbs_mom(Thread 0);Connected to pbs_comm head:17001
 +06/29/2026 07:11:24;0001;pbs_mom;Svr;net_restore_handler;net restore handler called
 +06/29/2026 07:11:24;0c06;pbs_mom;TPP;pbs_mom(Thread 0);Connection to pbs_comm head:17001 down
 +06/29/2026 07:11:24;0001;pbs_mom;Svr;net_down_handler;net down handler called
 +06/29/2026 07:11:26;0c06;pbs_mom;TPP;pbs_mom(Thread 0);Registering address 169.254.3.1:15003 to pbs_comm head:17001
 +06/29/2026 07:11:26;0c06;pbs_mom;TPP;pbs_mom(Thread 0);Registering address 192.168.0.27:15003 to pbs_comm head:17001
 +06/29/2026 07:11:26;0c06;pbs_mom;TPP;pbs_mom(Thread 0);Connected to pbs_comm head:17001
 +06/29/2026 07:11:26;0001;pbs_mom;Svr;net_restore_handler;net restore handler called
 +06/29/2026 07:11:26;0c06;pbs_mom;TPP;pbs_mom(Thread 0);Connection to pbs_comm head:17001 down
 +06/29/2026 07:11:26;0001;pbs_mom;Svr;net_down_handler;net down handler called
 +</code>
 +
 +となっています。
 +
 +169.254.3.1が割り当てられてしまっているポートを確認します
 +<code>
 +$ ip a
 +1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
 +    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
 +    inet 127.0.0.1/8 scope host lo
 +       valid_lft forever preferred_lft forever
 +    inet6 ::1/128 scope host noprefixroute 
 +       valid_lft forever preferred_lft forever
 +2: enxbe3af2b6059f: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UNKNOWN group default qlen 1000
 +    link/ether be:3a:f2:b6:05:9f brd ff:ff:ff:ff:ff:ff
 +    inet 169.254.3.1/24 metric 1024 brd 169.254.3.255 scope global dynamic enxbe3af2b6059f
 +       valid_lft 861890sec preferred_lft 861890sec
 +    inet6 fe80::bc3a:f2ff:feb6:59f/64 scope link proto kernel_ll 
 +       valid_lft forever preferred_lft forever
 +3: eno1np0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq state UP group default qlen 1000
 +    link/ether 7c:c2:55:84:d2:e8 brd ff:ff:ff:ff:ff:ff
 +    altname enp61s0f0np0
 +    altname enx7cc25584d2e8
 +    inet 192.168.0.27/24 metric 100 brd 192.168.0.255 scope global dynamic eno1np0
 +       valid_lft 231sec preferred_lft 231sec
 +    inet6 fe80::7ec2:55ff:fe84:d2e8/64 scope link proto kernel_ll 
 +       valid_lft forever preferred_lft forever
 +4: eno2np1: <NO-CARRIER,BROADCAST,MULTICAST,UP> mtu 1500 qdisc mq state DOWN group default qlen 1000
 +    link/ether 7c:c2:55:84:d2:e9 brd ff:ff:ff:ff:ff:ff
 +    altname enp61s0f1np1
 +    altname enx7cc25584d2e9
 +</code>
 +
 +enxbe3af2b6059fというポートに169.254.3.1が割り当てられてしまっていることがわかるため、netplanの設定でIPアドレスが割り当てられないようにします。
 +
 +<code>
 +$ sudo nano /etc/netplan/00-installer-config.yaml
 +</code>
 +
 +<file>
 +network:
 +  ethernets:
 +    eno1np0:
 +      dhcp4: true
 +      dhcp6: true
 +      dhcp-identifier: mac
 +    enxbe3af2b6059f:
 +      addresses: []
 +  version: 2
 +</file>
 +
 +<code>
 +$ sudo netplan apply
 +$ sudo /etc/init.d/pbs restart
 +</code>
  
 ====== OpenPBSについて ====== ====== OpenPBSについて ======
自作クラスタ計算機/openpbs_v23の基本設定.1782674916.txt.gz · Last modified: 2026/06/29 04:28 by koudai