http://www2.yukawa.kyoto-u.ac.jp/~koudai.sugimoto/dokuwiki/ 2026-07-09T12:46:58+00:00 http://www2.yukawa.kyoto-u.ac.jp/~koudai.sugimoto/dokuwiki/ http://www2.yukawa.kyoto-u.ac.jp/~koudai.sugimoto/dokuwiki/lib/exe/fetch.php?media=wiki:dokuwiki.svg text/html 2023-07-05T14:36:17+00:00 Anonymous (anonymous@undisclosed.example.com) http://www2.yukawa.kyoto-u.ac.jp/~koudai.sugimoto/dokuwiki/doku.php?id=%E8%87%AA%E4%BD%9C%E3%82%AF%E3%83%A9%E3%82%B9%E3%82%BF%E8%A8%88%E7%AE%97%E6%A9%9F:dhcp%E3%81%AE%E5%9F%BA%E6%9C%AC%E8%A8%AD%E5%AE%9A&rev=1688567777&do=diff 概要 管理ノードをルータ兼DHCPサーバーにして、スイッチングハブを介したプライベートLANを構成します。 * ルータは、インターネットとプライベートLANを仲介する役割をします。 * text/html 2026-07-09T06:32:08+00:00 Anonymous (anonymous@undisclosed.example.com) http://www2.yukawa.kyoto-u.ac.jp/~koudai.sugimoto/dokuwiki/doku.php?id=%E8%87%AA%E4%BD%9C%E3%82%AF%E3%83%A9%E3%82%B9%E3%82%BF%E8%A8%88%E7%AE%97%E6%A9%9F:dnsmasq%E3%81%AE%E5%9F%BA%E6%9C%AC%E8%A8%AD%E5%AE%9A&rev=1783578728&do=diff 概要 * DnsmasqはDHCPサーバーとDNSサーバーの両方を同時に行えるソフトで、小規模なネットワークの構築には非常に便利です。 * DHCPサーバでは各計算ノードにIPアドレスを割り振り、プライベートネットワークを構成します text/html 2026-07-03T17:23:09+00:00 Anonymous (anonymous@undisclosed.example.com) http://www2.yukawa.kyoto-u.ac.jp/~koudai.sugimoto/dokuwiki/doku.php?id=%E8%87%AA%E4%BD%9C%E3%82%AF%E3%83%A9%E3%82%B9%E3%82%BF%E8%A8%88%E7%AE%97%E6%A9%9F:hosts%E3%81%AE%E7%B7%A8%E9%9B%86&rev=1783099389&do=diff 概要 * IPアドレスは数字の羅列のため、多くの場合は人間にとって記憶したり認識したりするのが困難です。そこで通常はIPアドレスの代わりにホスト名を使います * ホスト名からIPアドレスを見つける作業を名前解決と呼びます text/html 2021-06-27T13:04:17+00:00 Anonymous (anonymous@undisclosed.example.com) http://www2.yukawa.kyoto-u.ac.jp/~koudai.sugimoto/dokuwiki/doku.php?id=%E8%87%AA%E4%BD%9C%E3%82%AF%E3%83%A9%E3%82%B9%E3%82%BF%E8%A8%88%E7%AE%97%E6%A9%9F:ip%E3%83%9E%E3%82%B9%E3%82%AB%E3%83%AC%E3%83%BC%E3%83%89%E3%81%AE%E5%9F%BA%E6%9C%AC%E8%A8%AD%E5%AE%9A&rev=1624799057&do=diff 概要 * プライベートLAN内のコンピュータを外部のネットワークにつなぐには、ルータでプライベートIPアドレスをグローバルIPアドレスに変換するNAPT (Network Address Port Translation) が必要です。 text/html 2026-07-02T16:57:41+00:00 Anonymous (anonymous@undisclosed.example.com) http://www2.yukawa.kyoto-u.ac.jp/~koudai.sugimoto/dokuwiki/doku.php?id=%E8%87%AA%E4%BD%9C%E3%82%AF%E3%83%A9%E3%82%B9%E3%82%BF%E8%A8%88%E7%AE%97%E6%A9%9F:kea_dhcp%E3%81%AE%E5%9F%BA%E6%9C%AC%E8%A8%AD%E5%AE%9A&rev=1783011461&do=diff 概要 管理ノードをルータ兼DHCPサーバーにして、スイッチングハブを介したプライベートLANを構成します。 * ルータは、インターネットとプライベートLANを仲介する役割をします。 * text/html 2021-06-27T13:04:17+00:00 Anonymous (anonymous@undisclosed.example.com) http://www2.yukawa.kyoto-u.ac.jp/~koudai.sugimoto/dokuwiki/doku.php?id=%E8%87%AA%E4%BD%9C%E3%82%AF%E3%83%A9%E3%82%B9%E3%82%BF%E8%A8%88%E7%AE%97%E6%A9%9F:mdns%E3%81%AE%E5%9F%BA%E6%9C%AC%E8%A8%AD%E5%AE%9A&rev=1624799057&do=diff 概要 * IPアドレスは数字の羅列のため、多くの場合は人間にとって記憶したり認識したりするのが困難です。そこで通常はIPアドレスの代わりにホスト名を使います * ホスト名からIPアドレスを見つける作業を名前解決と呼ぶ text/html 2026-06-15T09:22:50+00:00 Anonymous (anonymous@undisclosed.example.com) http://www2.yukawa.kyoto-u.ac.jp/~koudai.sugimoto/dokuwiki/doku.php?id=%E8%87%AA%E4%BD%9C%E3%82%AF%E3%83%A9%E3%82%B9%E3%82%BF%E8%A8%88%E7%AE%97%E6%A9%9F:mpi%E3%81%AB%E3%82%88%E3%82%8B%E4%B8%A6%E5%88%97%E8%A8%88%E7%AE%97&rev=1781515370&do=diff 概要 * 実際にMPIを用いたノード内およびノード間の並列計算を行います * 事前にOpenMPI, MPICH2, Intel MPIなどのMPIライブラリを管理ノードでビルドし、NFSによって計算ノードと共有してください text/html 2026-07-08T18:47:20+00:00 Anonymous (anonymous@undisclosed.example.com) http://www2.yukawa.kyoto-u.ac.jp/~koudai.sugimoto/dokuwiki/doku.php?id=%E8%87%AA%E4%BD%9C%E3%82%AF%E3%83%A9%E3%82%B9%E3%82%BF%E8%A8%88%E7%AE%97%E6%A9%9F:nfs%E3%81%AE%E5%9F%BA%E6%9C%AC%E8%A8%AD%E5%AE%9A&rev=1783536440&do=diff 概要 * 実際に数値計算を行う際、たくさんある計算ノードの一つ一つにプログラムや入力ファイルをコピーするのは面倒です * そこで、ファイルは1つのファイルサーバに集約して置いておき、各計算ノードは計算のたびにそこからファイルを読み込むようにします text/html 2024-08-24T16:04:40+00:00 Anonymous (anonymous@undisclosed.example.com) http://www2.yukawa.kyoto-u.ac.jp/~koudai.sugimoto/dokuwiki/doku.php?id=%E8%87%AA%E4%BD%9C%E3%82%AF%E3%83%A9%E3%82%B9%E3%82%BF%E8%A8%88%E7%AE%97%E6%A9%9F:nis%E3%81%AE%E5%9F%BA%E6%9C%AC%E8%A8%AD%E5%AE%9A&rev=1724515480&do=diff 概要 * プライベートLAN内でコンピュータの設定（ユーザー情報など）を共有するシステムをNetwork Information Service (NIS) と呼びます * 複数人でクラスタ計算機を使用するとき、それぞれの計算ノードに各自のアカウントを一つずつ作成するのは非常に手間であるので、このシステムを使います text/html 2026-07-08T17:07:14+00:00 Anonymous (anonymous@undisclosed.example.com) http://www2.yukawa.kyoto-u.ac.jp/~koudai.sugimoto/dokuwiki/doku.php?id=%E8%87%AA%E4%BD%9C%E3%82%AF%E3%83%A9%E3%82%B9%E3%82%BF%E8%A8%88%E7%AE%97%E6%A9%9F:openldap%E3%82%92%E4%BD%BF%E3%81%A3%E3%81%9Fldap%E3%82%B5%E3%83%BC%E3%83%90%E3%81%AE%E5%9F%BA%E6%9C%AC%E8%A8%AD%E5%AE%9A&rev=1783530434&do=diff 概要 * クラスター計算機では、各計算ノードにも使用者のユーザーアカウントを作る必要があります。 * ユーザー数や計算ノードが多いととんでもなく面倒なので、管理ノードでユーザー情報を一元管理します。その仕組みがLDAP (Lightweight Directory Access Protocol)です。 text/html 2026-07-02T17:44:57+00:00 Anonymous (anonymous@undisclosed.example.com) http://www2.yukawa.kyoto-u.ac.jp/~koudai.sugimoto/dokuwiki/doku.php?id=%E8%87%AA%E4%BD%9C%E3%82%AF%E3%83%A9%E3%82%B9%E3%82%BF%E8%A8%88%E7%AE%97%E6%A9%9F:openpbs_v23%E3%81%AE%E5%9F%BA%E6%9C%AC%E8%A8%AD%E5%AE%9A&rev=1783014297&do=diff 概要 * 一人でクラスタ計算機を使用する場合は問題ありませんが、もし複数人で使用する場合は、プログラムの実行が同じノードでかち合ってしまう可能性があります。 * これを避けるため、各ユーザーのプログラムの実行を管理するジョブ管理ソフト PBS Professional (PBS Pro) を使用します text/html 2026-06-17T19:16:07+00:00 Anonymous (anonymous@undisclosed.example.com) http://www2.yukawa.kyoto-u.ac.jp/~koudai.sugimoto/dokuwiki/doku.php?id=%E8%87%AA%E4%BD%9C%E3%82%AF%E3%83%A9%E3%82%B9%E3%82%BF%E8%A8%88%E7%AE%97%E6%A9%9F:pbs_pro_v20%E3%81%AE%E5%9F%BA%E6%9C%AC%E8%A8%AD%E5%AE%9A&rev=1781723767&do=diff 概要 * 一人でクラスタ計算機を使用する場合は問題ありませんが、もし複数人で使用する場合は、プログラムの実行が同じノードでかち合ってしまう可能性があります。 * これを避けるため、各ユーザーのプログラムの実行を管理するジョブ管理ソフト PBS Professional (PBS Pro) を使用します text/html 2026-07-08T15:59:05+00:00 Anonymous (anonymous@undisclosed.example.com) http://www2.yukawa.kyoto-u.ac.jp/~koudai.sugimoto/dokuwiki/doku.php?id=%E8%87%AA%E4%BD%9C%E3%82%AF%E3%83%A9%E3%82%B9%E3%82%BF%E8%A8%88%E7%AE%97%E6%A9%9F:pxe%E3%83%96%E3%83%BC%E3%83%88&rev=1783526345&do=diff 概要 * Ubuntu 26.04 BIOSは成功しましたが、UEFIの方がうまくいかないので、参考にとどめてください。 手順 Ubuntu Baseのダウンロードと展開 ヘッドノード（Ubuntu 26.04 Desktop）上で、公式リポジトリから Ubuntu 26.04 のベースイメージをダウンロードします。 通常は text/html 2026-07-08T19:08:47+00:00 Anonymous (anonymous@undisclosed.example.com) http://www2.yukawa.kyoto-u.ac.jp/~koudai.sugimoto/dokuwiki/doku.php?id=%E8%87%AA%E4%BD%9C%E3%82%AF%E3%83%A9%E3%82%B9%E3%82%BF%E8%A8%88%E7%AE%97%E6%A9%9F:slurm_v25%E3%81%AE%E5%9F%BA%E6%9C%AC%E8%A8%AD%E5%AE%9A&rev=1783537727&do=diff 概要 環境 * Ubuntu 26.04 * Slurm 25.11.2 構成 * 管理ノード (ホスト名：head) * 計算ノード（ホスト名：node11, node12, ..., node30） * node11〜node20は12コアのCPUが2ソケット * node21〜node30は24コアのCPUが2ソケット text/html 2026-07-08T10:01:09+00:00 Anonymous (anonymous@undisclosed.example.com) http://www2.yukawa.kyoto-u.ac.jp/~koudai.sugimoto/dokuwiki/doku.php?id=%E8%87%AA%E4%BD%9C%E3%82%AF%E3%83%A9%E3%82%B9%E3%82%BF%E8%A8%88%E7%AE%97%E6%A9%9F:ssh%E3%81%AE%E5%9F%BA%E6%9C%AC%E8%A8%AD%E5%AE%9A&rev=1783504869&do=diff 概要 * SSHを利用して、ノード間の通信や外部からクラスタ計算機への接続ができるようにします * セキュリティ上の安全のため、外部からのログインは鍵認証のみで行うようにします text/html 2026-07-08T10:34:45+00:00 Anonymous (anonymous@undisclosed.example.com) http://www2.yukawa.kyoto-u.ac.jp/~koudai.sugimoto/dokuwiki/doku.php?id=%E8%87%AA%E4%BD%9C%E3%82%AF%E3%83%A9%E3%82%B9%E3%82%BF%E8%A8%88%E7%AE%97%E6%A9%9F:ufw%E3%81%AE%E8%A8%AD%E5%AE%9A&rev=1783506885&do=diff 概要 * ファイヤーウォールを動かします。 * プライベートLAN内の通信はすべて許可します。 環境 * プライベートLAN側に繋がっているNICのデバイス名: enp1s0f1 * ネットマスク: 192.168.0.0/24 text/html 2026-07-03T17:42:46+00:00 Anonymous (anonymous@undisclosed.example.com) http://www2.yukawa.kyoto-u.ac.jp/~koudai.sugimoto/dokuwiki/doku.php?id=%E8%87%AA%E4%BD%9C%E3%82%AF%E3%83%A9%E3%82%B9%E3%82%BF%E8%A8%88%E7%AE%97%E6%A9%9F:%E3%82%AF%E3%83%A9%E3%82%B9%E3%82%BF%E8%A8%88%E7%AE%97%E6%A9%9F%E3%81%AE%E6%A7%8B%E6%88%90&rev=1783100566&do=diff 構成図 +---------------+ xxx.xxx.xxx | | 192.168.0.1 +------------------+ Internet ----------------| 管理ノード |---------------| スイッチングハブ | | head | +------------------+ +---------------+ | | | | | | +-----------------------------------+ | | … text/html 2023-08-27T07:02:44+00:00 Anonymous (anonymous@undisclosed.example.com) http://www2.yukawa.kyoto-u.ac.jp/~koudai.sugimoto/dokuwiki/doku.php?id=%E8%87%AA%E4%BD%9C%E3%82%AF%E3%83%A9%E3%82%B9%E3%82%BF%E8%A8%88%E7%AE%97%E6%A9%9F:%E3%82%B5%E3%83%BC%E3%83%90%E3%83%BC%E3%81%AE%E7%B5%84%E3%81%BF%E7%AB%8B%E3%81%A6&rev=1693119764&do=diff 概要 * なんだかんだ言って、普通の自作パソコンと同じです。 * コンピュータのパーツを触るときは、必ずケースに触れて静電気を放電してからにしましょう。 手順 ラックレールをサーバーラックとシャーシの両方に取り付け text/html 2026-07-08T17:17:19+00:00 Anonymous (anonymous@undisclosed.example.com) http://www2.yukawa.kyoto-u.ac.jp/~koudai.sugimoto/dokuwiki/doku.php?id=%E8%87%AA%E4%BD%9C%E3%82%AF%E3%83%A9%E3%82%B9%E3%82%BF%E8%A8%88%E7%AE%97%E6%A9%9F:%E3%83%91%E3%82%B9%E3%83%95%E3%83%AC%E3%83%BC%E3%82%BA%E3%81%AA%E3%81%97ssh%E3%81%AB%E3%82%88%E3%82%8B%E3%83%8E%E3%83%BC%E3%83%89%E9%96%93%E9%80%9A%E4%BF%A1%E3%81%AE%E5%9F%BA%E6%9C%AC%E8%A8%AD%E5%AE%9A&rev=1783531039&do=diff 概要 管理ノードと計算ノードの間の通信はSSHで行います。 * 現状のままだと管理ノードから計算ノードへ入る際にパスワードの入力が必要ですが、ジョブ投入のたびにパスワードを入力するのは現実的ではありません。 text/html 2023-12-03T12:30:40+00:00 Anonymous (anonymous@undisclosed.example.com) http://www2.yukawa.kyoto-u.ac.jp/~koudai.sugimoto/dokuwiki/doku.php?id=%E8%87%AA%E4%BD%9C%E3%82%AF%E3%83%A9%E3%82%B9%E3%82%BF%E8%A8%88%E7%AE%97%E6%A9%9F:%E3%83%A6%E3%83%BC%E3%82%B6%E3%83%BC%E5%90%91%E3%81%91%E5%88%A9%E7%94%A8%E3%82%AC%E3%82%A4%E3%83%89&rev=1701606640&do=diff 概要 * クラスタ計算機の使い方です * 新入生向け サーバーへのログイン手順 SSH鍵の作成 クラスタ計算機にログインするためにはSSH鍵を作成する必要があります。 ターミナルを開いて次のようにコマンドを入力してください。 text/html 2026-07-08T10:41:20+00:00 Anonymous (anonymous@undisclosed.example.com) http://www2.yukawa.kyoto-u.ac.jp/~koudai.sugimoto/dokuwiki/doku.php?id=%E8%87%AA%E4%BD%9C%E3%82%AF%E3%83%A9%E3%82%B9%E3%82%BF%E8%A8%88%E7%AE%97%E6%A9%9F:%E5%9B%BA%E5%AE%9Aip%E3%82%A2%E3%83%89%E3%83%AC%E3%82%B9%E3%81%AE%E8%A8%AD%E5%AE%9A&rev=1783507280&do=diff 概要 * 管理ノードのIPアドレスを、インターネット側とプライベートネットワーク側の両方で設定します。 * 外部からクラスタ計算機にアクセスできるようにするためには、グローバルIPアドレスが必要です。 text/html 2026-07-08T13:38:11+00:00 Anonymous (anonymous@undisclosed.example.com) http://www2.yukawa.kyoto-u.ac.jp/~koudai.sugimoto/dokuwiki/doku.php?id=%E8%87%AA%E4%BD%9C%E3%82%AF%E3%83%A9%E3%82%B9%E3%82%BF%E8%A8%88%E7%AE%97%E6%A9%9F:%E8%A8%88%E7%AE%97%E3%83%8E%E3%83%BC%E3%83%89%E3%81%AE%E3%83%8D%E3%83%83%E3%83%88%E3%83%AF%E3%83%BC%E3%82%AF%E9%96%A2%E4%BF%82&rev=1783517891&do=diff 概要 * DHCPサーバーを立てる前の、計算ノードでの作業です。 * それぞれの計算ノードでひたすら行ってください。 作業 * 計算ノードのLANケーブルがささっているポートのデバイス名とMACアドレスを調べて記録しておきます text/html 2024-10-09T15:40:30+00:00 Anonymous (anonymous@undisclosed.example.com) http://www2.yukawa.kyoto-u.ac.jp/~koudai.sugimoto/dokuwiki/doku.php?id=%E8%87%AA%E4%BD%9C%E3%82%AF%E3%83%A9%E3%82%B9%E3%82%BF%E8%A8%88%E7%AE%97%E6%A9%9F:%E8%B3%BC%E5%85%A5%E3%81%97%E3%81%9F%E3%82%B5%E3%83%BC%E3%83%90%E3%83%BC%E3%83%91%E3%83%BC%E3%83%84&rev=1728488430&do=diff 概要 * 研究室で使用しているサーバーの構成です サーバー構成 計算ノード （2019年9月） パーツメーカー型番スペック数量備考CPUIntelXeon Silver 42142.2 GHz, 12 cores2 メモリKingstoneKSM24RD4/32MEI text/html 2026-06-11T12:31:18+00:00 Anonymous (anonymous@undisclosed.example.com) http://www2.yukawa.kyoto-u.ac.jp/~koudai.sugimoto/dokuwiki/doku.php?id=%E8%87%AA%E4%BD%9C%E3%82%AF%E3%83%A9%E3%82%B9%E3%82%BF%E8%A8%88%E7%AE%97%E6%A9%9F:%E9%81%8B%E7%94%A8%E7%8A%B6%E6%B3%81&rev=1781181078&do=diff OS * Ubuntu 20.04 LTS インストール済みパッケージ 計算ノードにaptで追加で入れているもの一覧です。 * python3-pip * tcsh Pythonの最新版のインストール 現在（2024年9月）はversion 3.12が最新です。 text/html 2026-06-17T18:25:35+00:00 Anonymous (anonymous@undisclosed.example.com) http://www2.yukawa.kyoto-u.ac.jp/~koudai.sugimoto/dokuwiki/doku.php?id=%E8%87%AA%E4%BD%9C%E3%82%AF%E3%83%A9%E3%82%B9%E3%82%BF%E8%A8%88%E7%AE%97%E6%A9%9F:%E9%96%8B%E7%99%BA%E7%92%B0%E5%A2%83&rev=1781720735&do=diff 概要 * aptで導入可能で、各ノードにインストールしておくと便利なパッケージです * Ubuntu 18.04 LTS で導入を確認しました * 必要なものを適宜選んでください コンパイラ 管理ノードおよび計算ノードにインストールします