雑多な記録

This page is read only. You can view the source, but not change it. Ask your administrator if you think this is wrong.
====== 概要 ======

  * 研究室に入ってきた四年生が一人でクラスタ計算機を作れることを目指して、このページを作成しました
  * OSは Ubuntu 18.04, 20.04 のServer版を使用して、初心者でもスムーズに進められるようにaptを多用しています。


====== ハードウェア ======

  * [[自作クラスタ計算機:クラスタ計算機の構成]]
  * [[自作クラスタ計算機:購入したサーバーパーツ]]
  * [[自作クラスタ計算機:サーバーの組み立て]]


====== クラスタ計算機の構築 ======

事前に管理ノードおよび計算ノードにUbuntuをインストールしてください。

===== プライベートネットワークの構築 =====

管理ノードと計算ノードからなるプライベートネットワークを構築します。
作業は管理ノード、あるいは計算ノードを直接操作して行います。

  - [[自作クラスタ計算機:固定IPアドレスの設定]]
    * 管理ノードのIPアドレスを設定します
  - [[自作クラスタ計算機:DHCPの基本設定]]
    * 各計算ノードにIPアドレスを割り振り、プライベートネットワークを構成します
  - [[自作クラスタ計算機:IPマスカレードの基本設定]]
    * 各計算ノードからプライベートネットワークをぬけてインターネットに接続できるようにします
  - [[自作クラスタ計算機:SSHの基本設定]]
    * 外部から管理ノードや計算ノードを操作できるようにします
  - [[自作クラスタ計算機:hostsの編集]]
    * IPアドレスとホスト名の紐付けを行います


===== クラスター化 =====

管理ノードと計算ノードを一元管理し、あたかも1つのコンピュータとして扱えるようにします。
SSHで外部からアクセスできるようにした場合、作業は遠隔で行うことができます。

  - [[自作クラスタ計算機:NFSの基本設定]]
    * ファイルサーバにあるファイルを各ノードで共有します
  - [[自作クラスタ計算機:NISの基本設定]]
    * 各計算ノードのユーザー情報に管理ノードのものを使います



====== PXEブートを使ったクラスタ計算機の構築 ======

PXEブートを使えば、管理ノードに計算ノード用のOSを入れ、計算ノードはそれを読み込んで起動できるようになります。
計算ノードにHDDやSSDといった記憶用ディスクを設置する必要がなくなり、計算ノードの故障率の低下や、計算ノードの個別管理が不要といったメリットがあります。

事前に管理ノードにのみOSをインストールしてください

  - [[自作クラスタ計算機:PXEブート]]（工事中）


====== 運用 ======

  - [[自作クラスタ計算機:開発環境]]
    * aptで導入可能な、各ノードにインストールしておくと便利なパッケージです。自分の目的に合わせて適当に導入してください 
  - [[自作クラスタ計算機:MPIによる並列計算]]
    * 実際にクラスタ計算機でノード内およびノード間での並列計算を行います
    * ジョブ管理ソフトを使って計算ノードにジョブを投入する予定の場合は、このページを読む必要はありません






===== ジョブ管理 =====

複数人でクラスタ計算機を利用するときに、各ユーザーのプログラムが計算ノードで実行される順番を管理します。一人で複数のプログラムを実行する際にも便利です。代表的なものにPBSとSLURMがあります。

  - [[自作クラスタ計算機:PBS Proの基本設定]]
    * ジョブ管理ソフトPBS Proの導入と基本設定を行います


====== おまけ ======

  * [[自作クラスタ計算機:ユーザー向け利用ガイド]]
    * 新しくクラスタ計算機を使うユーザーにまず読んでもらうもの
  * [[自作クラスタ計算機:運用状況]]
    * うちのグループのクラスタ計算機の運用状況です
 
  * [[自作クラスタ計算機:mDNSの基本設定]]
    * 各ノードのホスト名とプライベートIPアドレスを紐付けます 


====== お世話になったサイト ======

  * [[https://tayama-2.hatenadiary.org/entry/20110803/1312375197|計算機クラスタ構築メモ - aizuzia]]
  * [[https://qiita.com/yubais/items/7c40227a17569dc9d412|Linux で計算機クラスタを作る (1. ネットワーク構築) #Linux - Qiita]]
  * [[https://amorphous.tf.chiba-u.jp/memo.files/cluster/cluster.html|Diskless並列計算機の製作]]
  *[[http://earth.sci.ehime-u.ac.jp/~kameyama/How_To_Setup_PC_Clusters/debian12.html|亀山がよくやる「手抜き」PC クラスタのセットアップ (bookworm 編)]]
雑多な記録

User Tools

Site Tools

Page Tools
