Computer/京大スパコン使用方法（抜粋）のバックアップ(No.8) - 二宮研究室 | 沿岸災害・大気海洋相互作用・気候変動

Top / Computer / 京大スパコン使用方法（抜粋）

京大スパコン使用方法（抜粋とtips） †

マニュアルスペックなど詳細は本家マニュアル等を参照してください．

↑

Puttyの設定（システムAの場合） †

HostName?: camphor.kudpc.kyoto-u.ac.jp
Window>Columns&Rows: 100x30程度
Appearance>FontSettings?: 14pt程度
Connection>Data>username: 自分のid
Connection>SSH>Auth>Private key file: 秘密鍵ファイルを指定

↑

Exceed onDemand Clientのインストール †

インストール手順はスパコンマニュアルに従う．＞マニュアルはこちら

インストーラを使ってインストールする．
修正モジュールを適用する．

puttyでトンネルを設定する．

システムAの場合

Source port: 5501
Destination: localhost:5501

システムBの場合

Source port: 5500
Destination: localhost:5500

Exceed onDemand Clientを起動する．

システムAの場合

ホスト: localhost:5501
ユーザーID，パスワードを入力
Xconfig, Xstartは適当でも動作している．

↑

環境設定 †

module list：ロード済みmoduleの表示
module avail：全moduleの表示
module show [module_name]：module内容の表示
module load [module_name]：moduleのロード
module unload [module_name]：moduleのアンロード
module switch [module_name1] [module_name2]：moduleの切り替え

↑

状況確認&変更 †

quota：ディスク使用状況の確認
id：現在のグループの確認
newgrp - grhogehoge：グループをgrhogehogeに変更（ハイフンがないと環境変数をクリアされる）
chdefgrp grhogehoge：ログイン時のグループをgrhogehogeに変更

qstat -q：利用可能なキューの確認
qstat：投入したジョブの確認
qgroup：グループのジョブを確認
qs：ジョブの詳細を確認
qcat -o xxxx：job id xxxxの標準出力を表示
qcat -e xxxx：job id xxxxのエラー出力を表示

qdel xxxx：job id xxxxのキャンセル

↑

計算の実行 †

会話型実行

tssrun -A p=1:t=2:c=3:m=4G -W 5:00 -ug grhogehoge ./a.out
：a.outの実行（1プロセス，2スレッド/プロセス，3コア/プロセス，メモリ4G/プロセス，実行時間5:00，grhogehogeで実行）
　CPUコアの上限（A:68, B:36, C:72）
　メモリ上限（A:96G, B:128G, C:3072G）
　時間上限（24:00）

バッチ処理

qsub hogehoge.sh：hogehoge.shを投入．（hogehoge.shのサンプルは下記）

バッチ処理（スレッド並列サンプル）

#!/bin/bash
#QSUB -q grhogehoge
#QSUB -ug grhogehoge
#QSUB -W 5:00
#QSUB -A p=1:t=2:c=3:m=4G

#============ Shell Script ============
cd WORKDIR
./a.out

バッチ処理（プロセス並列サンプル）

#!/bin/bash
#QSUB -q grhogehoge
#QSUB -ug grhogehoge
#QSUB -W 5:00
#QSUB -A p=8:t=1:c=1:m=4G

#============ Shell Script ============
cd WORKDIR
mpiexec.hydra ./a.out

バッチ処理（ハイブリッド並列サンプル）

#!/bin/bash
#QSUB -q grhogehoge
#QSUB -ug grhogehoge
#QSUB -W 5:00
#QSUB -A p=8:t=4:c=4:m=4G

#============ Shell Script ============
cd WORKDIR
mpiexec.hydra ./a.out

計算ジョブレポート

B(dateinfo).oXXXXXX：標準出力
B(dateinfo).eXXXXXX：エラー出力

↑

計算資源の上限 †

並列数：qgroupでALLOCを確認
　１つのジョブで１ノードを使用してしまうので注意．
　例えば，システムAは68core/ノードなので9core並列などはもったいない．（大量のメモリを割り当てる場合は別）
メモリ：システムA １ノード当たり90GB
　p=4:m=45Gだと4x45GB=180GBなので２ノード使用される．
計算時間の上限：グループコース336h，パーソナルコース168h，エントリコース1h

↑

ジョブidの入力をtab補完できるようにする（公式ではないので書いてあることがわかる人用） †

参考：http://space.rish.kyoto-u.ac.jp/akdk/usage.html

↑

bash-completionをソースから入れる． †

ソースをダウンロードして展開（https://github.com/scop/bash-completion）

wget https://github.com/scop/bash-completion/archive/master.zip ←urlは実際にアクセスして要確認
unzip master.zip

設定ファイルの作成

autoreconf -i →configureが作成される
./configure --prefix=[自分に権限のある適当なpath]

makeしてインストール
```
make
make install
```

実行するための設定（.bashrcの編集）

bash_completion.shの内容を.bashrcにコピペ
ついでにジョブidの入力が必要なコマンド（qcat, qdel）に関する下記の設定も追記

# qcat
_qcat() {
local cur=`_get_cword`
COMPREPLY=( $(compgen -W "$(qstat | tail -n +3 | cut -d. -f1)" -- $cur) )
return 0
}
complete -F _qcat qcat
# qdel
_qdel() {
local cur=`_get_cword`
COMPREPLY=( $(compgen -W "$(qstat | tail -n +3 | cut -d. -f1)" -- $cur) )
return 0
}
complete -F _qdel qdel

完了．.bashrcを読み込みなおしてチェック

↑

NCLを使う（システムB, Cのみ．システムAでは使用不可） †

Exceed onDemand Clientを入れる．手順は上記．
Exceed onDemand Clientでログイン．
```
module load ncl
```

# pathの設定
export NCARG=/opt/app/ncl/6.4.0/ #バージョンの変更に注意．
export NCARG_ROOT=${NCARG}
export NCARG_BIN=${NCARG}/bin
export NCARG_LIB=${NCARG}/lib
export NCARG_INCLUDE=${NCARG}/include
export PATH=${NCARG}/bin:${PATH}
export LD_LIBRARY_PATH=${NCARG}/lib:${LD_LIBRARY_PATH}

二宮研究室 | 沿岸災害・大気海洋相互作用・気候変動 | 金沢大学