自作クラスタ計算機
Table of Contents
概要
- 研究室に入ってきた四年生が一人でクラスタ計算機を作れることを目指して、このページを作成しました
- OSは Ubuntu 18.04, 20.04 のServer版を使用して、初心者でもスムーズに進められるようにaptを多用しています。
ハードウェア
クラスタ計算機の構築
事前に管理ノードおよび計算ノードにUbuntuをインストールしてください。
プライベートネットワークの構築
管理ノードと計算ノードからなるプライベートネットワークを構築します。 作業は管理ノード、あるいは計算ノードを直接操作して行います。
-
- 管理ノードのIPアドレスを設定します
-
- 各計算ノードにIPアドレスを割り振り、プライベートネットワークを構成します
-
- 各計算ノードからプライベートネットワークをぬけてインターネットに接続できるようにします
-
- 外部から管理ノードや計算ノードを操作できるようにします
-
- IPアドレスとホスト名の紐付けを行います
クラスター化
管理ノードと計算ノードを一元管理し、あたかも1つのコンピュータとして扱えるようにします。 SSHで外部からアクセスできるようにした場合、作業は遠隔で行うことができます。
-
- ファイルサーバにあるファイルを各ノードで共有します
-
- 各計算ノードのユーザー情報に管理ノードのものを使います
PXEブートを使ったクラスタ計算機の構築
PXEブートを使えば、管理ノードに計算ノード用のOSを入れ、計算ノードはそれを読み込んで起動できるようになります。 計算ノードにHDDやSSDといった記憶用ディスクを設置する必要がなくなり、計算ノードの故障率の低下や、計算ノードの個別管理が不要といったメリットがあります。
事前に管理ノードにのみOSをインストールしてください
- PXEブート（工事中）
運用
-
- aptで導入可能な、各ノードにインストールしておくと便利なパッケージです。自分の目的に合わせて適当に導入してください
-
- 実際にクラスタ計算機でノード内およびノード間での並列計算を行います
- ジョブ管理ソフトを使って計算ノードにジョブを投入する予定の場合は、このページを読む必要はありません
ジョブ管理
複数人でクラスタ計算機を利用するときに、各ユーザーのプログラムが計算ノードで実行される順番を管理します。一人で複数のプログラムを実行する際にも便利です。代表的なものにPBSとSLURMがあります。
-
- ジョブ管理ソフトPBS Proの導入と基本設定を行います
おまけ
-
- 新しくクラスタ計算機を使うユーザーにまず読んでもらうもの
-
- うちのグループのクラスタ計算機の運用状況です
-
- 各ノードのホスト名とプライベートIPアドレスを紐付けます
お世話になったサイト
自作クラスタ計算機.txt · Last modified: 2024/02/25 03:45 by koudai