Sidebar
自作クラスタ計算機:購入したサーバーパーツ
概要
- 研究室で使用しているサーバーの構成です
サーバー構成
計算ノード
（2019年9月）
| パーツ | メーカー | 型番 | スペック | 数量 | 備考 |
|---|---|---|---|---|---|
| CPU | Intel | Xeon Silver 4214 | 2.2 GHz, 12 cores | 2 | |
| メモリ | Kingstone | KSM24RD4/32MEI | DDR4 PC4-19200 32GB ECC Registered | 4 | なし |
| マザーボード | Supermicro | X11DPi-NT | E-ATX, Dual Socket P (LGA3647) | 1 | 10GBASE-T |
| M.2 SSD | Intel | SSDPEKKW010T8X1 | SSD 760p 1TB M.2 | 1 | 計算ノードにファイルを保存しないことにしたので、もっと容量の少ない安いもので十分 |
| M.2 SSDヒートシンク | 長尾製作所 | SS-M2S-HS03 | 1 | M.2 SSDはすぐ熱をもってしまうと聞いたので https://chimolog.co/bto-ssd-intel-760p-review/ | |
| CPUクーラー | Dynatron | B5 | LGA3647, Narrow | 2 | なし |
| シャーシ | TechAce | CP-2664N | 2U | 1 | なし |
| ラックレール | iStarUSA | TC-RAIL26 | 1 | なし | |
| 電源 | Seasonic | SS-500L2U | シングル | 1 | なし |
（2020年8月）増設しました
| パーツ | メーカー | 型番 | スペック | 数量 | 備考 |
|---|---|---|---|---|---|
| CPU | Intel | Xeon Silver 4214R | 2.4 GHz, 12 cores | 2 | 4214のリフレッシュ品。クロック数はアップしたが消費電力も85Wから100Wに増大 |
| メモリ | crucial | CT32G4RFD4266 | DDR4 PC4-21300 32GB ECC Registered | 2 | CPUの最大メモリー動作周波数を超える分には問題なし（CPUの対応クロックで動作） |
| マザーボード | Supermicro | X11DPi-NT | E-ATX, Dual Socket P (LGA3647) | 1 | 10GBASE-T |
| M.2 SSD | Transcend | TS128GMTE110S | SSD 128GB | 1 | PCIe対応のM.2 SSDで一番安かった |
| CPUクーラー | Dynatron | B5 | LGA3647, Narrow | 2 | なし |
| シャーシ | TechAce | CP-2664N | 2U | 1 | なし |
| ラックレール | iStarUSA | TC-RAIL26 | 1 | なし | |
| 電源 | Seasonic | SS-500L2U | シングル | 1 | |
| AC電源ケーブル | Ainex | ACP-05A | 0.5m | 1 | ３ピン電源端子用 |
（2022年1月）増設しました
| パーツ | メーカー | 型番 | スペック | 数量 | 備考 |
|---|---|---|---|---|---|
| CPU | Intel | Xeon Gold 6336Y | 2.4 GHz, 24 cores | 2 | Speed Select Technology対応 |
| メモリ | v-color | TR464G32D422K | DDR4-25600 64x2GB ECC Registered | 1 | Amazon限定メーカー？ |
| マザーボード | Supermicro | X12DPi-N6 | E-ATX, Dual Socket LGA-4189 | 1 | 半導体不足でX12DPi-NT6が手に入らず |
| ネットワークカード | 10Gtek | X550-10G-1T-X4 | Intel X550Tチップ搭載 | 1 | 10GBase-Tに対応した格安チップとしてMarvell AQC113CSもありますが、こちらは長時間使用に対して動作不安定でサーバーには向かないようです |
| M.2 SSD | SABRENT | SB-ROCKET-NVMe4-500 | SSD 500GB | 1 | PCIe Gen4 |
| CPUクーラー | Dynatron | N5 | LGA-4189 | 2 | 現在はN11に型番変更 |
| シャーシ | TechAce | TGC-F2-650 | 2U | 1 | なし |
| ラックレール | iStarUSA | TC-RAIL26 | 1 | なし | |
| 電源 | Seasonic | SS-600H2U | シングル | 1 | |
| AC電源ケーブル | Ainex | ACP-05B | 0.5m | 1 | ３ピン電源端子用。ACP-05Aから型番変更 |
ヘッドノード
（2019年9月）
| パーツ | メーカー | 型番 | スペック | 数量 | 備考 |
|---|---|---|---|---|---|
| CPU | Intel | Core i3 8350K | 4GHz 8Mキャッシュ 4コア/4スレッド | 1 | Core i3はなぜかECCメモリに対応 |
| CPUクーラー | SilverStone | SST-NT08-115X-V2 | Max TDP 95W | 1 | ロープロファイル対応 |
| メモリ | Kingstone | KSM24ED8/16ME | DDR4 PC4-19200 16GB ECC | 1 | なし |
| マザーボード | ASUS | PRO WS C246-ACE | ATX | 1 | サーバー向けECCメモリ対応マザーボード |
| SSD | 旭東エレクトロニクス | SUNEAST SE800-2TB | 2000GB | 1 | 一番安いSSD |
| HDDケース | オウルテック | OWL-IE322B | 3.5インチ→2×2.5インチ | 1 | 2.5インチSSDをフロントパネルから抜き差しできるようになる |
| シャーシ | TechAce | CP-2664N | 2U | 1 | なし |
| ラックレール | iStarUSA | TC-RAIL26 | 1 | ||
| 電源 | Seasonic | SS-500L2U | シングル | 1 | なし |
| インターフェイスカード | Intel | X540-T2 | 10Gbase-T | 1 | PCIe (Gen2)対応。後継のX550-T2はGen3に対応だが高い（消費電力が18W→13Wに省エネ化） |
PRO WS C246-ACEはCore i3ではECCが有効にならないっぽい (ECCメモリオプションはIntel Xeonプロセッサでのみ利用可能)。残念。
以下、保存領域が足りなくなったので追加購入（2020年10月）
| パーツ | メーカー | 型番 | スペック | 数量 | 備考 |
|---|---|---|---|---|---|
| HDD | 東芝 | MN06ACA800 | 8TB | 1 | MNはNAS向け |
| HDDリムーバブルケース | Dirac | DIR-SG330 | トレーレス | 1 | トレーのご利益を調べたけどよくわからない… |
保存領域が足りなくなったので追加購入（2023年7月）
| パーツ | メーカー | 型番 | スペック | 数量 | 備考 |
|---|---|---|---|---|---|
| HDD | 東芝 | MG08ACA16TE | 16TB | 1 | MGはサーバー向け |
周辺機器
サーバーラック
- 19インチサーバーラック（中型・24U・奥行85cm・パネルレス）
- 人の出入りが厳重なサーバールームはパネルレスで良いが、誰でも出入りできるところ（学生部屋など）に設置する場合はパネルと鍵がついたタイプの方が安心。
- 19インチサーバーラック用コンセント（15A・3P・9個口・3m）
-
- 最近見たら廃盤になってました。悲しい。
- ブレーカーなしの TAP-SV159 か、カスタマイズ可能な TAP-MR7485 とそのオプションが代替になると思います。
- TAP-SV159BNという型番で復活しました。
- サーバー室によっては通常の家庭で見かけるような形のコンセントではなく、20A以上に対応した引掛形の特殊なコンセントの場合もあるので、コンセントの形状を事前によく確認してください。
-
電源
- (Xeon Silver 4214)の計算ノードの消費電力をワットチェッカーで測定したら、アイドル時で65W、フル稼働時で230Wでした。なので最大15Aの場合は、一つのコンセントで6台まで行けます。
- 19インチサーバーラック用コンセント専用取り付け金具
- マウントレールにコンセントバーがついてると邪魔だったので、ネジとナットを買ってサーバーラック本体に直接固定しました。
- (Xeon Gold 6336Y)実測値がアイドル時で155W、フル稼働時で525Wでした。なので最大15Aの場合は、一つのコンセントで2台まで行けます。
サーバーラック（更新）
事情により買い替えました。
- サンワサプライ 簡易19インチマウントオープンサーバーラック（36U） CP-SVC36UNPKN
- サーバーラック用コンセントバー1U（15A）
スイッチングハブ
- NETGEAR XS512EM-100AJS
- RJ45イーサネットジャック 12口
- サーバーラックに取り付ける場合、ケージナットの別途購入が必要
- M5（直径5mm）とM6（同6mm）の2通りがある。M6の方が強度が高いので、取り付ける機器がM5にしか対応してないなどの場合を除いてM6を買っておくのが安全。
- 取付用の工具は別途購入（マイナスドライバーでもできないことはないが、怪我しやすい）
- サーバーラックの真ん中に設置するとトータルのケーブル長が節約できます。
- エレコム LANケーブル CAT6A ツメが折れない スタンダート(LD-GPAT)
-
- 「やわらか」(LD-GPAYT)にするとケーブルが少し細くなります。性能は変わりません。
- ただしお値段がちょっとだけ高くなります。
- 極細やフラットまでいくと線が細くなりすぎて性能が変わってくるみたいです
- LANの差込口がRJ45で10Gbpsに対応しているLANケーブルの規格は CAT6A
- ケーブルが長すぎると配線がごちゃごちゃするので、必要最低限の長さのものを買いましょう。
-
- サンワサプライ ツメ折れ防止LANケーブル 500-LAN6A
入出力機器
- ディスプレイ（クラスタ計算機で直接作業する用に、17~19インチくらいの小さいものを用意する）
- X11DPi-NT … VGAのみ
- PRO WS C246-ACE … DisplayPort, HDMI
- キーボード、マウス
とりまわしのことを考えたら、コード長は2mくらいあると便利。
UPS
結局予算が足りなかったので設置しなかった。
工具
- プラスドライバー #2
- プラスドライバー #1 （M.2 SSDヒートシンクのファン取り付けに必要）
- トルクスドライバー T30 （CPUクーラーの固定に必要）
- モンキーレンチ （ラックレールをサーバーラックに取り付けるのに必要）
ほとんどのネジは#2で締めるので、これだけホームセンターで500円くらいのしっかりしたものを買っておくとよい。 #1とT30は活躍機会が少ないため100均のもので十分。 いずれも軸長が100mmくらいある単体の大きい製品が作業がしやすくてお勧めです。
鋭利な部品が多いため、ケガ防止のためにサーバーラックやケースに触れるような作業をする際は軍手をしたほうがよいです。 ただしサーバーパーツを取り付けていく際には、ピンが布に引っかかって破損する恐れがあるので外してください。
自作クラスタ計算機/購入したサーバーパーツ.txt · Last modified: 2023/12/12 17:52 by koudai
Except where otherwise noted, content on this wiki is licensed under the following license: CC Attribution-Share Alike 4.0 International
