Introduction to YITP Computer System
------------------------------------------------------------------------
基 研 計 算 機 シ ス テ ム へ の 案 内
An English version is attached at the bottom
------------------------------------------------------------------------
revised Jan. 14, 2021
1. システム構成
2. OS と 言語コード
3. ログインとアカウント管理および安全保障
4. ホームディレクトリーと利用者ファイル
5. Yukawa-21用大容量ディスク
6. バックアップ
7. 長時間ジョブとバッチキュー
8. メールアドレス
9. アカウントの削除
10. システム運用情報
11. オンラインマニュアル（!! HomePage上でのアクセス制御情報を含む !!）
12. 連絡先、問い合わせ先、利用者メーリングリスト
13. その他
この案内は、簡単ではありますが非常に重要な内容を含んでいます。
必ず最後まで目を通してください。
なお、ここに記している内容は、今後変更になる可能性があります。
1. システム構成
このシステムは、UNIXを共通のOSとする、計算機クラスターです。
大規模計算サーバ Yukawa-21 (Dell PoweEdge R840) を主要なマシンとし、
演算加速装置(GPU)搭載サーバ (Dell PowerEdgeR940xa)
数式処理サーバ(Dell PowerEdge R640)、その他のワークステーションを有しています。
どのホストにも共通のアカウント名でログインできます。
host machine memory purpose
------------------------------------------------------------------
Yukawa-21 Dell PowerEdge R840 202.5 TB only batch job from front
GPU Dell PowerEdgeR940xa 3 TB only batch job from front
front1 VM Dell PowerEdge R640 128 GB frontend for Yukawa-21
front2 VM Dell PowerEdge R640 128 GB frontend for Yukawa-21
sushiki VM Dell PowerEdge R640 256 GB Mathematica, Maple, Intel Fortran
venus1 VM Dell PowerEdge R640 32 GB login-gate, NOT SUBMIT JOBS!
venus2 VM Dell PowerEdge R640 32 GB login-gate, NOT SUBMIT JOBS!
2. OS と 言語コード
すべてのホストのOSは、UNIX System V に基づいています。
作成されるファイルのデフォルトの日本語コードは UTF-8(Linux machine)です。
パソコン等で利用されている SJIS コードとは異なることに注意してください。
SJIS、EUCへの変換はコマンド nkf を使います。
nkf -w text.euc > text.utf8 (UTF8への変換)
nkf -s text.euc > text.sjis (SJISへの変換)
nkf -e test.sjis > text.euc (EUCへの変換)
file をブラウズするためのコマンド lv でも次のように変換可能です。例えば
lv -Is -Ou8 sjis.txt > utf.txt (SJIS -> UTF8)
lv -Iu8 -Oej utf.txt > euc.txt (UTF8 -> EUC)
(詳細は man lv を参照してください）
OSの表示やman コマンドの言語コードを変更したい場合には、環境変数
LANG を変更します。setenv LANG langcode。 ここで langcodeは
言語コードであり、 選択可能な言語コード一覧は locale -a で 確認できます。
テキストファイルの改行コードも Windowsの場合とUnix で異なるので、注意する必要があります。次のURLを参照：
http://osksn2.hep.sci.osaka-u.ac.jp/~taku/osx/crlf.html
3. ログインとアカウント管理およびセキュリティ
remote からのログインは sshの鍵認証による接続のみで、パスワードによる
ログインは出来ません。
ログインのために作成した公開鍵を以下の「公開鍵登録フォーム」から申請して
下さい。公開鍵は自動登録されます。
https://www2.yukawa.kyoto-u.ac.jp/keyapply/
鍵ペアの作成方法は以下を参照してください。
http://www.yukawa.kyoto-u.ac.jp/computer1/sshman/ssh-keygen-man.html
（注意1）!!! 必ずパスフレーズ有の SSH 鍵ペアを用意してください。
（注意2）公開鍵暗号 DSAキーは使用できません。
RSAキー又はED25519キーを使用して下さい。
基研の外から各ホストには直接ログインできません。一般のログインゲートである
mercury にログイン後、再度 ssh で各ホストへログインするという方法になります。
mercury にログイン後のホストはロードバランサによってvenus1又はvenus2になります。
mercury経由で 各ホストへログインする方法は、以下のssh-agentの利用方法を
参照して下さい。
http://www.yukawa.kyoto-u.ac.jp/computer1/sshman/ssh-keylogin-man.html
（注意）!!! 基研計算機サーバ上に「ssh秘密鍵」を置いてはいけません。
これはセキュリティ上の運用ルールです。
ファイル転送についても sshの鍵認証を使ったファイル転送方法をご利用下さい。
その方法は、以下を参照して下さい。
http://www.yukawa.kyoto-u.ac.jp/computer1/sshman/ssh-keyscp-man.html
アカウントは責任をもって管理してください。パスワードについては、
安易なもの（例えばuseridに等しいもの）は絶対に使用しないでください。
パスワードの変更は コマンド passwd で行います。
10文字以上、大文字、小文字、数字、記号 をそれぞれ１つ以上含む必要が
あります。
また、自分のアカウントを他人に使用させることを禁じます。
各自の秘密保持／セキュリティについては、利用者自身の責任で行ってください。
default の home の permission は次のようになっています。
一般のhome: /home/KUBUN/userid drwx-----x
Yukawa-21のhome: /sc/home/userid drwx------
一般のhomeが otherが検索可能なのは、public_html に自分のwebpage を作成した場合、
参照できるようにするためです。他人がls を実行することはできませんが、パス名を
知っている場合、参照できてしまいますので、必要であれば、
chmod o-x でother 検索不可に変更することができます。
新規に作成した場合のデフォールトのパーミッションは、
ファイル -rw-r--r--
ディレクトリ drwxr-xr-x
です。これは、他の全利用者があなたのファイルを読むこと（ディレクトリーの
サーチ）ができることを意味します。他人のアクセスを制限したい場合は、
コマンド chmod で変更してください。 例えば chmod go-r filename。
default の login shell は tcsh です。bashかtcshを選べます。
以下のURLから login shell を変更できます。
https://www2.yukawa.kyoto-u.ac.jp/chshell/
自分のhome に .bashrc がない場合（既存user)は venus1,2 上で
/etc/skel/.bashrc を自分のhome /home/KUBUN/userid にcopy してお使い下さい。
4. ホームディレクトリーと利用者ファイル
利用者のホームディレクトリーは Yukawa-21, GPU とfront1,2を除き、
全ホストに共通です。
Yukawa-21, GPU, front1,2 の場合 /sc/home/userid
それ以外のマシンの場合 /home/KUBUN/userid
KUBUNは主に研究分野名(soryushi, kakuri, uchu, bussei 等)で分類してあります。
実行形などのマシン固有のバイナリファイルの扱いには注意してください。
ホームディレクトリーの容量制限は 50GB です。（所内Userは 1TB）
/sc/home/の容量制限は 1TB です。
ディスク使用量は、 quota または du -s , du -sm などで確認できます。
圧縮 (gzip, compress) したり、不必要なファイルを消去したりして有効に
利用してください。
5. Yukawa-21 用大容量ディスク
yitpinfo 「Yukawa-21: How to use the Super Computer Yukawa-21 」の「3. ディスク領域」を参照してください。
6. バックアップ
利用者ファイルのバックアップは利用者自身の責任で行ってください。
利用者自身が利用できるバックアップ装置には、研究棟２階端末室内 にある
linux 端末(kamogawa) に DVD super-multi-drive があります。
7. 長時間ジョブとバッチキュー
Yukawa-21 で数値計算のためのジョブを実行する場合は、ジョブキューイングシステム
(SLURM)を利用して、 バッチジョブ として実行してください。
詳しくは yitpinfoの 「Yukawa-21の利用法」を参照のこと）
Yukawa-21以外のマシンでのジョブの実行は、利用者のプロセス（ジョブ）の
メモリー使用量などについて利用者各自で注意をはらってください。
一台に複数の長時間ジョブを走らせないでください。
システムメモリーの半分程度以上を使うプロセスは、頻繁なスワップを
引き起こす可能性があります。
頻繁なスワップをおこしているプロセスは、システム資源を浪費するので、
スーパーユーザーが無警告でkill する場合があります。
また、プロセスが暴走した場合、自分でkill してください。
プロセスの状況を見るには、コマンド ps -ef や ps -efl を利用できます。
また、プライオリティを下げるには nice -20 commands
とします。
以下のホストでは、長時間プロセスは走らさないでください。
front1, front2, venus1, venus2
8. メールアドレス
利用者のメールアドレスは
userid@yukawa.kyoto-u.ac.jp
で、システム全体で一つで、どのホストでも共通です。
（注意）
2014年1月1日以前に発行されたアカウントのメールアドレスのアカウント部（@の左
部分）は 旧useridとなっておりアカウント名と異なっていますのでご注意ください。
基研外部の方は、メールがホームマシンの方に転送されるよう設定してください。
設定するには ホームディレクトリの下に、 .forward というファイルを作り、
.forward の中身には、転送先のメールアドレスを書きます。
所属の変更などにより主にお使いになるメールアドレスが変更となり、
変更後のアドレスに基礎研計算機室からの案内の受け取りをご希望される方は、
その旨を計算機室までご連絡いただくか、転送設定の変更(.forward の編集)を
お願いいたします。
(アカウント更新確認のメールや、アナウンスが受け取れなくなる可能性がございます。)
9. アカウントの削除
毎年５月の連休明けに アカウント更新確認のメールを送付しています。
基研計算機システムをを引き続き利用されたい方はかならず 返事を出してください。
返事がない場合はアカウント更新を希望されないと見做し、アカウントを停止、
削除いたします。
アカウントが削除されると、
* ホームディレクトリ、大容量ディスク領域上のファイル
* 基研のメールアカウント(userid@yukawa.kyoto-u.ac.jp)、
* 数値計算
* 基研上で構築した自分のホームページ
等 あらゆるサービスが利用できなくなりますのでご注意ください。
また、更新確認時期を待たなくても、基研アカウント削除を希望する場合、
基研計算室にご連絡頂ければ すぐにアカウントを削除致します。
10. システム運用情報
必要に応じて随時、スーパーユーザー（基研計算機室）からシステム運用に
関する情報や、利用者への指示を、メール等で連絡することがあります。
メールには注意を払ってください。また、ログインメッセージの形でも
情報が流されます。ログインメッセージにも注意してください。また、
この案内を含む、いくつかの運用情報は yitpinfo でも参照できます（次項参照）
11. オンラインマニュアル
基研計算機システム固有の運用情報やさまざまな利用方法などの案内を
コマンド yitpinfo によってオンラインで参照されます。
yitpinfoは 基研HomePageからも見ることができます。
http://www2.yukawa.kyoto-u.ac.jp/~comproom/cgi-bin/yitpinfo-web.cgi
userid: yitp
password: kiken
◎この userid と password は、「基研 計算機」のページの他の情報の
アクセス制御と共通です。
一般にUNIXでは、OSやOS固有のコマンド、各種アプリケーションのマニュアルは
オンラインマニュアルとして参照できます。 コマンド man を使います。
man command_name
例えば、 コマンド man の詳細を知りたければ、 man man を試してください。
12. 連絡先、問い合わせ先、利用者掲示板、メーリングリスト
トラブルやバグ等に気付いた場合、遠慮なく、スーパーユーザーや基研計算機室
に連絡してください。また、運用方法についての問題点の指摘や、改善についての
意見なども歓迎します。これらは、本計算機システムを維持、改善していくのに
非常に重要です。連絡先は
基研計算機室（研究棟２階K201) 電話 7041 または 075-753-7041
e-mail: comproom@yukawa.kyoto-u.ac.jp （一般的なこと）
support@yukawa.kyoto-u.ac.jp (利用相談、トラブル報告など）
です。
ただ、プログラミング技術や言語の利用方法などについての相談（いわゆる
プログラミング相談）に対応できる専用スタッフはいませんので、かならずしも
十分な対応ができないかもしれません。
このような相談については、利用者間で相互に助け合うことを推奨します。
他の利用者に広く手助けを求めたり、利用者間で広く情報交換を行うために
掲示板[comp-bbs]を開設しています。
掲示板には過去に発生した問題の解決手順等も掲載されていますので、掲示板での
確認と問い合わせを推奨します。
アドレスは
https://www.yukawa.kyoto-u.ac.jp/forums/forum/comp-users
userid: yitp
password: kiken
です。
運用情報（保守情報等）は、comp-users@yukawa.kyoto-u.ac.jp メーリングリスト
に流します。新規にアカウントを開く際、申請用紙に記入している連絡先メール
アドレスを計算機室の方で登録しています。アドレスを変更もしくは削除するには、
comproom@yukawa.kyoto-u.ac.jp にその旨ご連絡ください。
13. その他
基研計算機システムの利用について論文の謝辞等で記す場合には、次の
例文を参考にしてください。
Numerical computation in this work was carried out at the
Yukawa Institute Computer Facility.
以上
基研計算機室
------------------------------------------
Introduction to YITP Computer System
------------------------------------------
Rev. Dec.28, 2020
1. System Configuration
2. OS and Language Encoding
3. Login and Accounts and Security
4. User Home Directory and User Files
5. Disk Space for Yukawa-21
6. Backup
7. Long Jobs and Batch Queue
8. E-mail address
9. Removing Account
10. System Management Information
11. Online Manual (!! Homepage access control info !!)
12. Questions, Troubles to contact, user mailing lists
13. Others
Welcome to the computer system of the Yukawa Institute for Theoretical
Physics.
The following is a brief but very important guide to the system.
>>> So, PLEASE READ UNTIL THE END. <<<
The contents written here may be revised in the future.
1. System configuration
The system is a cluster of unix computers. The super computer Yukawa-21 which is the main machine, numerical calculation server (Dell PowerEdge R840)
and other work stations are available.
You can login to any host with one user account.
host machine memory purpose
------------------------------------------------------------------
Yukawa-21 Dell PowerEdge R840 202.5 TB only batch job from front
GPU Dell PowerEdgeR940xa 3 TB only batch job from front
front1 VM on Dell PowerEdge R640 128 GB frontend for Yukawa-21
front2 VM on Dell PowerEdge R640 128 GB frontend for Yukawa-21
sushiki VM on Dell PowerEdge R640 256 GB Mathematica, Maple, Intel Fortran
venus1 VM on Dell PowerEdge R640 32 GB login-gate, NOT SUBMIT JOBS!
venus2 VM on Dell PowerEdge R640 32 GB login-gate, NOT SUBMIT JOBS!
2. OS and Language code
The OS's of all the hosts are based on UNIX System V.
The default code for Japanese characters is UTF8(Linux machine).
which is different from the SJIS code used on PC's.
Use "nkf" command to convert KANJI code.
nkf -w text.euc > text.utf8 (convert to UTF8)
nkf -s text.euc > text.sjis (convert to SJIS)
nkf -e test.sjis > text.euc (convert to EUC)
You may also use "lv" command to convert KANJI code.
lv -Is -Ou8 sjis.txt > utf.txt (SJIS -> UTF8)
lv -Iu8 -Oej utf.txt > euc.txt (UTF8 -> EUC)
(see "man lv" )
If you want to change the language code of OS or man etc,
you may change it by setting environmental variable LANG.
setenv LANG langcode
You may obtain available "langcode" by "locale -a".
Carriage return code of a text-file created in Windows is different from
that of Unix. Please see this URL for how to convert.
http://osksn2.hep.sci.osaka-u.ac.jp/~taku/osx/crlf.html
3. Login, Managing your account and Security
Please use SSH key authentication to login from remote.
SSH password authentication is banned.
Please generate the SSH key pair for login and apply the public key
by below the Registration Form.
your public key will registerd immediately.
https://www2.yukawa.kyoto-u.ac.jp/keyapply/
Please refer this URL for SSH key generation.
http://www.yukawa.kyoto-u.ac.jp/computer1/sshman/ssh-keygen-man.html
(NOTE-1)
Be sure to generate SSH key with "passphrase". We do not accept
non-passphrase SSH keys.
(NOTE-2)
SSH DSA key is NOT allowed. You should use ED25519 Key or RSA Key.
You cannot directly login from remote to the other hosts than login-gate.
You may ssh to other hosts after login to login-gate (mercury)
by using ssh-agent.
After login to mercury, host will be venus1 or venus2 by load balancer.
Please refer to the following URL for detail.
http://www.yukawa.kyoto-u.ac.jp/computer1/sshman/ssh-keylogin-man.html
(NOTE)
Please do not leave the ssh secret key inside the server of YITP computer system.
Please use SSH key authentication for tranfering files.
http://www.yukawa.kyoto-u.ac.jp/computer1/sshman/ssh-keyscp-man.html
Please manage your account with responsibility and never use an easy password
(ex. your userid).
Use "passwd" command to change your password.
password requirement: min length 10, at least one upper case, one lower case, one numeric, one symbol
Forbid to lend others your account.
Users are asked to take care of their own account and security.
Default user home directory is
General HOME: /home/FIELD/userid drwx-----x
Yukawa-21 HOME: /sc/HOME/userid drwx------
General HOME is other searchable incase that a user creates his/her homepage
under ~public_html. Others cannot "ls" but refer the file if they know the
path and filename. Users who does not create webpage can change this
by chmod o-x command.
The default permission of created files is
-rw-r--r-- for a file
drwxr-xr-x for a directory
which means all the users can read your files (search directories).
Users can control permission of their own files and directories
by using the command "chmod". For example,
% chmod go-r filename
Default login shell is tcsh. You can change it to bash from this URL address.
https://www2.yukawa.kyoto-u.ac.jp/chsell/
After changing login shell to bash, if you do not have .bashrc in your home
directory, please copy /etc/skel/.bashrc on venu1or2 to your home
(/home/FIELD/userid) .
4. User's Home directory and user files
User's home directory is common to all hosts except for Yukawa-21 and its frontend.
On Yukawa-21, GPU and front: /sc/home/userid
On other hosts: /home/XXXX/userid
"XXXX" would be either soryushi, kakuri, uchu, bussei which indicates the research field (in Japanese) of each users.
Please be careful in handling binary files and executables, whose data
structure may be specific to a host.
Because of the limited disk space (this is an eternal problem),
we limit user disk usage up to 50 GB. (YITP members: 1TB)
Disk usage limit for home directory for Yukawa-21: /sc/home/userid
is 1TB.
You will find the total amount of your usage by "quota" or "du -s"
"du -sm" at your home directory.
Please make good use of by deleting unnecessary files and compress
(gzip, compress) files.
5. Disk space for Yukawa-21
For detail, please refer to "Yukawa-21: How to use the Super Computer Dell PowerEdge R840" of the yitpinfo.
6. Backup
Please backup your files on your responsibility.
The available backup devices arein the terminal room K203:
blue-ray recorder on linux terminal (kamogawa).
7. Process management and batch queue
Please use job queueing system "SLURM" when you need to run a job for
numerical calculations on Yukawa-21 in background.
(See yitpinfo of Yukawa-21 for more details)
Please be always aware of how much memory your process uses and how it runs,
except for Yukawa-21. Note that do NOT run two or more long processes (jobs)
on one computer.
Computers will be severely and uselessly overloaded if a process causes swapping or frequent disk accesses.
Users have to manage their own processes.
A swapping is brought about if the total amount of the memory usage exceeds
the system limit.
If you find your job running madly, please kill by yourself. You can check by
A process swapping frequently may be killed by superuser without notice to
avoid abuse of system resource.
To set low priority to a process, invoke it like
nice -20 command_name
Please do not run processes (jobs) on front1, front2, venus1, venus2.
8. E-mail address
A user has only one mail address in the system,
userid@yukawa.kyoto-u.ac.jp
which is common to all the hosts.
Non-YITP members are required to make $HOME/.forward so that mails are
automatically forwarded to your home host. The content of .forward is
the destination e-mail address.
If your main email address has changed due to a change of affiliation or
other reasons and you would like to receive information from YITP
Computer Room,please email comproom@yukawa.kyoto-u.ac.jp or change your
forwarding settings(Edit ".forward").
(You may no longer receive Account renewal confirmation mail or announcements.)
9. Removing Account
Account renewal confirmation mail is sent to you right after the holidays
in May every year. Please reply to this mail if you want to keep your account
on YITP Unix system. Otherwise your account will be disabled and removed.
Removing account means all following will removed and become unusable
All files in your Home directory and temporary disk space for large storage
your email account (userid@yukawa.kyoto-u.ac.jp)
numerical calculation machine
your webpage on YITP unix system
You can tell the YITP computer room anytime when you want remove your
account.
10. System management information
The superuser (Computer room) occasionally sends you mails which contain important
system information or urgent instruction to users.
Please always pay attention to mails.
We also give system information as login message. Please pay attention too.
You may read some of system information by invoking "yitpinfo".
11. On-line manual
You may refer to the YITP specific system information by "yitpinfo" command.
You also may see yitpinfo on the YITP homepage.
http://www2.yukawa.kyoto-u.ac.jp/~comproom/cgi-bin/yitpinfo-web.cgi
userid :yitp
password :kiken
*This userid and password are common to the access control of other
information of YITP computeing facilities page.
The UNIX generally provides you with on-line manuals.
If you want to know details of a command such as options or arguments,
you can get them by invoking "man command_name".
Please try "man man" as an example.
12. Questions, Troubles, and How to contact
In case of trouble, please report with no hesitation to computer room.
We welcome the points of the problems about system operation or ideas
of improvement. These are very important for maintenance and improvement
of this YITP system.
You can reach by
phone 7041 or 075-753-7041 (computer room research bldg. K201)
e-mail comproom@yukawa.kyoto-u.ac.jp (for general questions)
support@yukawa.kyoto-u.ac.jp (for consultations and troubles etc)
But there's no expert of programming technology or language, we couldn't
do enough answer.
We recommend helping among users each other about these consultations.
Ask for helping other uses. And there's a net bulletin board [comp-bbs]
for exchanging information.
You may get some ways of solving problems that occurred in the past.
Address is
https://www.yukawa.kyoto-u.ac.jp/forums/forum/comp-users
userid: yitp
password: kiken
We send operation information (ex. maintenance news) to mailing list
"comp-users@yukawa.kyoto-u.ac.jp".
You are autmatically signed up in the list when the accout is
created. If you want to change the email address for this mailing list,
mail to comproom@yukawa.kyoto-u.ac.jp.
13. Etc
When the Computer Facility is acknowledged in a paper, see the
following example.
"Numerical computation in this work was carried out at the
Yukawa Institute Computer Facility."
Yukawa Institute, Computer Room