概要

研究室で使用しているサーバーの構成です

サーバー構成

計算ノード

（2019年9月）

パーツ	メーカー	型番	スペック	数量	備考
CPU	Intel	Xeon Silver 4214	2.2 GHz, 12 cores	2
メモリ	Kingstone	KSM24RD4/32MEI	DDR4 PC4-19200 32GB ECC Registered	4	なし
マザーボード	Supermicro	X11DPi-NT	E-ATX, Dual Socket P (LGA3647)	1	10GBASE-T
M.2 SSD	Intel	SSDPEKKW010T8X1	SSD 760p 1TB M.2	1	計算ノードにファイルを保存しないことにしたので、もっと容量の少ない安いもので十分
M.2 SSDヒートシンク	長尾製作所	SS-M2S-HS03		1	M.2 SSDはすぐ熱をもってしまうと聞いたので　https://chimolog.co/bto-ssd-intel-760p-review/
CPUクーラー	Dynatron	B5	LGA3647, Narrow	2	なし
シャーシ	TechAce	CP-2664N	2U	1	なし
ラックレール	iStarUSA	TC-RAIL26		1	なし
電源	Seasonic	SS-500L2U	シングル	1	なし

（2020年8月）増設しました

パーツ	メーカー	型番	スペック	数量	備考
CPU	Intel	Xeon Silver 4214R	2.4 GHz, 12 cores	2	4214のリフレッシュ品。クロック数はアップしたが消費電力も85Wから100Wに増大
メモリ	crucial	CT32G4RFD4266	DDR4 PC4-21300 32GB ECC Registered	2	CPUの最大メモリー動作周波数を超える分には問題なし（CPUの対応クロックで動作）
マザーボード	Supermicro	X11DPi-NT	E-ATX, Dual Socket P (LGA3647)	1	10GBASE-T
M.2 SSD	Transcend	TS128GMTE110S	SSD 128GB	1	PCIe対応のM.2 SSDで一番安かった
CPUクーラー	Dynatron	B5	LGA3647, Narrow	2	なし
シャーシ	TechAce	CP-2664N	2U	1	なし
ラックレール	iStarUSA	TC-RAIL26		1	なし
電源	Seasonic	SS-500L2U	シングル	1
AC電源ケーブル	Ainex	ACP-05A	0.5m	1	３ピン電源端子用

（2022年1月）増設しました

パーツ	メーカー	型番	スペック	数量	備考
CPU	Intel	Xeon Gold 6336Y	2.4 GHz, 24 cores	2	Speed Select Technology対応
メモリ	v-color	TR464G32D422K	DDR4-25600 64x2GB ECC Registered	2	Amazon限定メーカー？
マザーボード	Supermicro	X12DPi-N6	E-ATX, Dual Socket LGA-4189	1	半導体不足でX12DPi-NT6が手に入らず
ネットワークカード	10Gtek	X550-10G-1T-X4	Intel X550Tチップ搭載	1	10GBase-Tに対応した格安チップとしてMarvell AQC113CSもありますが、こちらは長時間使用に対して動作不安定でサーバーには向かないようです
M.2 SSD	‎SABRENT	SB-ROCKET-NVMe4-500	SSD 500GB	1	PCIe Gen4
CPUクーラー	Dynatron	N5	LGA-4189	2	現在はN11に型番変更
シャーシ	TechAce	TGC-F2-650	2U	1	なし
ラックレール	iStarUSA	TC-RAIL26		1	なし
電源	Seasonic	SS-600H2U	シングル	1
AC電源ケーブル	Ainex	ACP-05B	0.5m	1	３ピン電源端子用。ACP-05Aから型番変更

ヘッドノード

（2019年9月）

パーツ	メーカー	型番	スペック	数量	備考
CPU	Intel	Core i3 8350K	4GHz 8Mキャッシュ 4コア/4スレッド	1	Core i3はなぜかECCメモリに対応
CPUクーラー	SilverStone	SST-NT08-115X-V2	Max TDP 95W	1	ロープロファイル対応
メモリ	Kingstone	KSM24ED8/16ME	DDR4 PC4-19200 16GB ECC	1	なし
マザーボード	ASUS	PRO WS C246-ACE	ATX	1	サーバー向けECCメモリ対応マザーボード
SSD	旭東エレクトロニクス	SUNEAST SE800-2TB	2000GB	1	一番安いSSD
HDDケース	オウルテック	OWL-IE322B	3.5インチ→2×2.5インチ	1	2.5インチSSDをフロントパネルから抜き差しできるようになる
シャーシ	TechAce	CP-2664N	2U	1	なし
ラックレール	iStarUSA	TC-RAIL26		1
電源	Seasonic	SS-500L2U	シングル	1	なし
インターフェイスカード	Intel	X540-T2	10Gbase-T	1	PCIe (Gen2)対応。後継のX550-T2はGen3に対応だが高い（消費電力が18W→13Wに省エネ化）

PRO WS C246-ACEはCore i3ではECCが有効にならないっぽい (ECCメモリオプションはIntel Xeonプロセッサでのみ利用可能)。残念。

以下、保存領域が足りなくなったので追加購入（2020年10月）

パーツ	メーカー	型番	スペック	数量	備考
HDD	東芝	MN06ACA800	8TB	1	MNはNAS向け
HDDリムーバブルケース	Dirac	DIR-SG330	トレーレス	1	トレーのご利益を調べたけどよくわからない…

保存領域が足りなくなったので追加購入（2023年7月）

パーツ	メーカー	型番	スペック	数量	備考
HDD	東芝	MG08ACA16TE	16TB	1	MGはサーバー向け

周辺機器

サーバーラック

19インチサーバーラック（中型・24U・奥行85cm・パネルレス）
- https://direct.sanwa.co.jp/ItemPage/100-SV00324U
- 人の出入りが厳重なサーバールームはパネルレスで良いが、誰でも出入りできるところ（学生部屋など）に設置する場合はパネルと鍵がついたタイプの方が安心。
19インチサーバーラック用コンセント（15A・3P・9個口・3m）
- https://www.esupply.co.jp/ItemPage/TAP-SV159B
  - 最近見たら廃盤になってました。悲しい。
    - ブレーカーなしの TAP-SV159 か、カスタマイズ可能な TAP-MR7485 とそのオプションが代替になると思います。
    - TAP-SV159BNという型番で復活しました。
  - サーバー室によっては通常の家庭で見かけるような形のコンセントではなく、20A以上に対応した引掛形の特殊なコンセントの場合もあるので、コンセントの形状を事前によく確認してください。

電源

(Xeon Silver 4214)の計算ノードの消費電力をワットチェッカーで測定したら、アイドル時で65W、フル稼働時で230Wでした。なので最大15Aの場合は、一つのコンセントで6台まで行けます。
19インチサーバーラック用コンセント専用取り付け金具
- https://www.esupply.co.jp/ItemPage/TAP-SVSET
- マウントレールにコンセントバーがついてると邪魔だったので、ネジとナットを買ってサーバーラック本体に直接固定しました。
  - https://www.amazon.co.jp/gp/product/B01MQY7Z8S/

(Xeon Gold 6336Y)実測値がアイドル時で155W、フル稼働時で525Wでした。なので最大15Aの場合は、一つのコンセントで2台まで行けます。

サーバーラック（更新）

事情により買い替えました。

サンワサプライ簡易19インチマウントオープンサーバーラック（36U） CP-SVC36UNPKN
- https://www.sanwa.co.jp/product/syohin?code=CP-SVC36UNPKN
サーバーラック用コンセントバー1U（15A）
- https://www.sanwa.co.jp/product/syohin?code=TAP-SVSL156-1U

スイッチングハブ

NETGEAR XS512EM-100AJS
- https://www.jp.netgear.com/business/products/switches/web-managed/XS512EM.aspx
- RJ45イーサネットジャック 12口
- サーバーラックに取り付ける場合、ケージナットの別途購入が必要
  - M5（直径5mm）とM6（同6mm）の2通りがある。M6の方が強度が高いので、取り付ける機器がM5にしか対応してないなどの場合を除いてM6を買っておくのが安全。
    - http://mono5.com/?p=8
  - 取付用の工具は別途購入（マイナスドライバーでもできないことはないが、怪我しやすい）
    - https://www.haruru29.net/blog/cage-nut-tool/
    - https://togetter.com/li/616249
- サーバーラックの真ん中に設置するとトータルのケーブル長が節約できます。
エレコム LANケーブル CAT6A ツメが折れないスタンダート(LD-GPAT)
- https://www.elecom.co.jp/category/cat_cable-lan/?category=group-03
  - 「やわらか」(LD-GPAYT)にするとケーブルが少し細くなります。性能は変わりません。
  - ただしお値段がちょっとだけ高くなります。
  - 極細やフラットまでいくと線が細くなりすぎて性能が変わってくるみたいです
- LANの差込口がRJ45で10Gbpsに対応しているLANケーブルの規格は CAT6A
- ケーブルが長すぎると配線がごちゃごちゃするので、必要最低限の長さのものを買いましょう。

サンワサプライツメ折れ防止LANケーブル 500-LAN6A
- https://direct.sanwa.co.jp/ItemPage/500-LAN6A-005BL

入出力機器

ディスプレイ（クラスタ計算機で直接作業する用に、17~19インチくらいの小さいものを用意する）
- X11DPi-NT … VGAのみ
- PRO WS C246-ACE … DisplayPort, HDMI
キーボード、マウス

とりまわしのことを考えたら、コード長は2mくらいあると便利。

UPS

結局予算が足りなかったので設置しなかった。

https://kakaku.com/pc/ups/itemlist.aspx?pdf_Spec301=1500&pdf_so=p1

工具

プラスドライバー #2
プラスドライバー #1　（M.2 SSDヒートシンクのファン取り付けに必要）
トルクスドライバー T30　（CPUクーラーの固定に必要）
モンキーレンチ　（ラックレールをサーバーラックに取り付けるのに必要）

ほとんどのネジは#2で締めるので、これだけホームセンターで500円くらいのしっかりしたものを買っておくとよい。 #1とT30は活躍機会が少ないため100均のもので十分。いずれも軸長が100mmくらいある単体の大きい製品が作業がしやすくてお勧めです。

鋭利な部品が多いため、ケガ防止のためにサーバーラックやケースに触れるような作業をする際は軍手をしたほうがよいです。ただしサーバーパーツを取り付けていく際には、ピンが布に引っかかって破損する恐れがあるので外してください。

雑多な記録

Table of Contents

概要