====== 概要 ====== * 研究室に入ってきた四年生が一人でクラスタ計算機を作れることを目指して、このページを作成しました * OSはUbuntuを使用して、初心者でもスムーズに進められるようにaptを多用しています。 * 現在の確認環境： * 管理ノード：Ubuntu Desktop 26.04 LTS * 計算ノード：Ubuntu Server 26.04 LTS ====== ハードウェア ====== * [[自作クラスタ計算機:クラスタ計算機の構成]] * [[自作クラスタ計算機:購入したサーバーパーツ]] * [[自作クラスタ計算機:サーバーの組み立て]] ====== クラスタ計算機の構築 ====== 事前に管理ノードおよび計算ノードにUbuntuをインストールしてください。 Ubuntu Serverの場合、インストール作業中にOpenSSHをインストールするか聞かれるので、必ずインストールしてください。 管理者のユーザー名は実際に数値計算を実施するユーザーと違うものにして、system_adminなどの当たり障りのないのない名前にしておくことを推奨します。 （ただし、単にadminにしてしまうとLDAPの管理者名とかぶるので不向きです） ===== プライベートネットワークの構築 ===== 管理ノードと計算ノードからなるプライベートネットワークを構築します。 作業は管理ノード、あるいは計算ノードを直接操作して行います。 - [[自作クラスタ計算機:固定IPアドレスの設定]] * 管理ノードの固定IPアドレスを設定します - [[自作クラスタ計算機:計算ノードのネットワーク関係]] * MACアドレスの取得とNetplanの設定を行います。 - [[自作クラスタ計算機:Dnsmasqの基本設定]] * 軽量なDHCPサーバ兼DNSサーバです。 - [[自作クラスタ計算機:UFWの設定]] * ファイヤーウォールを動かします。 - [[自作クラスタ計算機:SSHの基本設定]] * 外部からクラスター計算機にアクセスできるようにします ===== クラスター化 ===== 管理ノードと計算ノードを一元管理し、あたかも1つのコンピュータとして扱えるようにします。 SSHで外部からアクセスできるようにした場合、作業は遠隔で行うことができます。 - [[自作クラスタ計算機:NFSの基本設定]] * ファイルサーバにあるファイルを各ノードで共有します - [[自作クラスタ計算機:OpenLDAPを使ったLDAPサーバの基本設定]] * 各計算ノードのユーザー情報を管理ノードで一元管理します - [[自作クラスタ計算機:パスフレーズなしSSHによるノード間通信の基本設定]] * 管理ノードから計算ノードにアクセスするときのパスフレーズの入力を省略します ====== 運用 ====== - [[自作クラスタ計算機:MPIによる並列計算]] * 実際にクラスタ計算機でノード内およびノード間での並列計算を行います * ジョブ管理ソフトを使って計算ノードにジョブを投入する予定の場合は、このページを読む必要はありません ===== ジョブ管理 ===== 複数人でクラスタ計算機を利用するときに、各ユーザーのプログラムが計算ノードで実行される順番を管理します。一人で複数のプログラムを実行する際にも便利です。代表的なものにPBSとSLURMがあります。 - [[自作クラスタ計算機:Slurm v25の基本設定]] * こちらが推奨です。 - [[自作クラスタ計算機:OpenPBS v23の基本設定]] * PBSの遺産を使いまわしたい人向け ====== おまけ ====== * [[自作クラスタ計算機:ユーザー向け利用ガイド]] * 新しくクラスタ計算機を使うユーザーにまず読んでもらうもの * [[自作クラスタ計算機:運用状況]] * うちのグループのクラスタ計算機の運用状況です * [[自作クラスタ計算機:開発環境]] * aptで導入可能な、各ノードにインストールしておくと便利なパッケージです * [[自作クラスタ計算機:Kea DHCPの基本設定]] * 本格的なDHCPサーバーです。研究室で使う規模のクラスター計算機だとちょっと大げさかもしれません。 * [[自作クラスタ計算機:hostsの編集]] * IPアドレスとホスト名の紐付けを行います * [[自作クラスタ計算機:mDNSの基本設定]] * 各ノードのホスト名とプライベートIPアドレスを紐付けます ====== PXEブートを使ったクラスタ計算機の構築 ====== PXEブートを使えば、管理ノードに計算ノード用のOSを入れ、計算ノードはそれを読み込んで起動できるようになります。 計算ノードにHDDやSSDといった記憶用ディスクを設置する必要がなくなり、計算ノードの故障率の低下や、計算ノードの個別管理が不要といったメリットがあります。 事前に管理ノードにのみOSをインストールしてください - [[自作クラスタ計算機:PXEブート]]（工事中） ====== お世話になったサイト ====== * [[https://tayama-2.hatenadiary.org/entry/20110803/1312375197|計算機クラスタ構築メモ - aizuzia]] * [[https://qiita.com/yubais/items/7c40227a17569dc9d412|Linux で計算機クラスタを作る (1. ネットワーク構築) #Linux - Qiita]] * [[https://amorphous.tf.chiba-u.jp/memo.files/cluster/cluster.html|Diskless並列計算機の製作]] *[[http://earth.sci.ehime-u.ac.jp/~kameyama/How_To_Setup_PC_Clusters/debian12.html|亀山がよくやる「手抜き」PC クラスタのセットアップ (bookworm 編)]] ====== 古い情報 ====== * [[自作クラスタ計算機:DHCPの基本設定]] * [[自作クラスタ計算機:IPマスカレードの基本設定]] * [[自作クラスタ計算機:NISの基本設定]] * [[自作クラスタ計算機:PBS Pro v20の基本設定]]