2012/3/21 新 スパコン 利 用 者 説 明 会 (UGE 概 説 )
Univa Grid Engine(UGE)とは グリッドコンピューティングシステムを 構 築 するソフトウェア バッチジョブシ ステムとして 機 能 する Sun Grid Engine6.2U5(オープンソー ス 版 としては 最 後 のバージョン)から 派 生 した 商 用 製 品 開 発 にはGrid Engineの 主 要 な 開 発 メンバーが 参 加 している ジョブ 投 入 時 のコマンド 等 はSGEと 同 じ 1
UGEを 利 用 する 利 点 大 量 のジョブを 逐 次 円 滑 に 実 行 できる 複 数 のユーザが 同 時 に 大 量 のジョブを 投 入 し ても UGEがスケジューリングを 行 う ジョブが 求 めるメモリ CPU 等 に 応 じて 適 切 なスケジューリングを 行 う UGEを 利 用 するうえでの 注 意 点 ジョブの 並 列 化 などは 行 わない ジョブ 投 入 時 のリソース 要 求 宣 言 を 適 切 に 行 わない 場 合 大 規 模 な 計 算 機 のハングアップ を 招 く 場 合 がある 2
スパコン 使 用 方 法 (イメージ) 1ゲートウェイノード(gw.ddbj.nig.ac.jp)にログインする 2qloginを 実 行 しインタラクティブノードにログインする 3qloginしたホストからジョブをUGEに 投 入 する 4UGEは 負 荷 の 低 いノードでジョブを 実 行 する 5ジョブ 実 行 結 果 をlustreのホームディレクトリに 出 力 する 6ジョブ 実 行 結 果 を 確 認 する 1 Job Job Job gateway 1 台 (active-stanby) 外 部 との 通 信 専 用 2 業 務 用 8 台 研 究 用 8 台 インタラクティブ 専 用 3 4 業 務 用 81 台 研 究 用 208 台 バッチ 専 用 6 Result Result Result Result Result 5 3
基 本 用 語 ( 概 念 )1 ホスト(ノード) 物 理 的 に 存 在 する 計 算 機 qmaster Job Job Job execd execd execd execd マスターホスト UGEのマスターデーモン(qmaster)が 動 作 す るホスト マスターデーモンはUGEを 統 括 するデーモン で ジョブの 受 付 スケジューリング 実 行 ホストへの 配 送 回 収 などを 行 う 実 行 ホスト UGEの 実 行 デーモン(execd)が 動 作 するホス ト 実 行 デーモンはマスターデーモンからのジョ ブ 実 行 の 指 示 を 受 け ジョブを 実 行 する 4
基 本 用 語 ( 概 念 )2 submit host Job Job qmaster サブミットホスト UGEにジョブを 投 入 可 能 なホスト qloginコマンドでログイン 可 能 な 実 行 ホストがこれに 該 当 する execd execd execd execd execd execd キュー ジョブの 投 入 対 象 複 数 の 実 行 ホス トで 構 成 される 用 途 に 応 じて 数 種 類 のキューが 存 在 する execd JobSlot JobSlot JobSlot JobSlot JobSlot JobSlot JobSlot JobSlot ジョブスロット 各 実 行 ホストに 設 定 された ジョブ を 実 行 するための 入 れ 物 ジョ ブはキューに 投 入 され 最 終 的 にス ロットに 収 まる 5
2つのUGE 環 境 本 システムには 以 下 の2つのUGE 環 境 がある 使 用 可 能 な 環 境 設 定 はログイン 時 に 行 われるため 利 用 者 は 設 定 作 業 を 意 識 する 必 要 はない DDBJ 業 務 用 UGE 環 境 DDBJ 業 務 用 アカウントで 使 用 できるUGE 環 境 SGE_ROOT=/home/geadmin/UGES SGE_CELL=uges 研 究 用 UGE 環 境 一 般 研 究 用 アカウントで 使 用 できるUGE 環 境 SGE_ROOT=/home/geadmin/UGER SGE_CELL=uger 6
キューの 種 類 ( 研 究 用 3/21 時 点 ) キュー 名 ジョブ スロット 数 実 行 時 間 の 上 限 用 途 など week_hdd.q 752 14 日 キュー リソースを 指 定 しない 場 合 ジョ ブはこのキューに 投 入 される week_ssd.q 544 14 日 ssdを 使 用 する 短 い 時 間 で 終 了 する 見 込 みのジョブを 実 行 する 場 合 に 使 用 month_hdd.q 320 31 日 実 行 時 間 が 長 くなる 見 込 みのジョブを 実 行 する 場 合 に 使 用 month_ssd.q 352 31 日 ssdを 使 用 する 実 行 時 間 が 長 くなる 見 込 みのジョブを 実 行 する 場 合 に 使 用 month_gpu.q 992 31 日 gpuを 使 用 するジョブを 実 行 する 場 合 に 使 用 month_medium.q 160 31 日 mediumノードを 使 用 するジョブを 実 行 す る 場 合 に 使 用 month_fat.q 768 31 日 fatノードを 使 用 するジョブを 実 行 する 場 合 に 使 用 debug.q 128 1 日 ジョブの 動 作 確 認 をする 場 合 に 使 用 login.q 128 - ジョブの 投 入 を 行 うために 使 用 ログインして 使 用 可 能 なキューのみ 記 載 7
キューの 種 類 ( 業 務 用 3/21 時 点 ) キュー 名 ジョブ スロット 数 実 行 時 間 の 上 限 用 途 など week_hdd.q 752 14 日 キュー リソースを 指 定 しない 場 合 ジョ ブはこのキューに 投 入 される week_ssd.q 544 14 日 ssdを 使 用 する 短 い 時 間 で 終 了 する 見 込 みのジョブを 実 行 する 場 合 に 使 用 month_hdd.q 320 31 日 実 行 時 間 が 長 くなる 見 込 みのジョブを 実 行 する 場 合 に 使 用 month_ssd.q 352 31 日 ssdを 使 用 する 実 行 時 間 が 長 くなる 見 込 みのジョブを 実 行 する 場 合 に 使 用 debug.q 128 1 日 ジョブの 動 作 確 認 をする 場 合 に 使 用 login.q 128 - ジョブの 投 入 を 行 うために 使 用 ログインして 使 用 可 能 なキューのみ 記 載 8
実 行 時 間 の 上 限 混 雑 時 の 実 行 待 ちジョブの 渋 滞 解 消 を 目 的 と して 実 行 時 間 の 上 限 を 設 定 している 実 行 時 間 の 上 限 を 超 えたジョブはkillされる 実 行 時 間 は ジョブが 実 行 されてからの 実 時 間 でカウントされる(CPU 使 用 時 間 等 ではない キューで 待 機 している 時 間 はカウ ントされない ) ジョブを 投 入 する 前 に 動 作 確 認 用 の 環 境 を 使 用 して 実 行 時 間 を 把 握 する 必 要 がある 9
qlogin ジョブを 投 入 する 場 合 は ゲートウェイホストからqloginコマンドで login.qのリソースに 余 裕 のあるホストにログインする ( 研 究 用 DDBJ 業 務 用 共 通 ) $ qlogin Your job 329 ("QLOGIN") has been submitted waiting for interactive job to be scheduled... Your interactive job 329 has been successfully scheduled. Establishing builtin session to host t217i... $ uname -n t217 実 行 ホストにログインするときは 必 ずqloginコマンドを 使 用 する 負 荷 分 散 機 構 が 適 切 に 機 能 しなくなるため 直 接 ログインしてジョブを 実 行 しないこと ( 直 接 ログインしているユーザは 記 録 されている) 10
ジョブの 投 入 1 ジョブは UGE 向 けに 記 述 したシェルスクリプトを 作 成 して 投 入 する 以 下 に 例 を 示 す(ファイル 名 は test.sh とする) #!/bin/sh #$ -S /bin/sh pwd hostname date sleep 20 date echo to stderr 1>&2 2 行 目 の #$ は UGEオプションを 指 定 するための 接 頭 辞 #$ -S で このシェルスクリプトがUGE 上 で 動 作 する 際 に 使 用 す るインタプリタを 指 定 する(この 例 の 場 合 インタプリタは/bin/sh) この 行 を 省 略 した 場 合 ジョブ 投 入 時 のコマンドオプションで -S 使 用 するインタプリタのパス を 指 定 する 必 要 がある 11
ジョブの 投 入 2 qsubコマンドでジョブを 投 入 する $ qsub test.sh ジョブを 投 入 すると 実 行 待 ち 行 列 にジョブが 入 る 投 入 したジョブの 状 況 は qstatコマンド( 後 述 )で 確 認 する 実 行 後 ジョブの 出 力 を 確 認 する ホームディレクトリに ジョブの 標 準 出 力 標 準 エラー 出 力 を 記 録 した ファイルが 出 力 される $ cat ~/test.sh.o325 /lustre1/home/ddbjuser t165 2012 年 3 月 21 日 水 曜 日 11:15:01 JST 2012 年 3 月 21 日 水 曜 日 11:15:21 JST $ cat ~/test.sh.e325 to stderr 12
qsubの 主 なオプション1 -S <インタプリタのパス> -cwd スクリプトファイルを 実 行 する 際 のインタプリタのパスを 指 定 する シェル 以 外 に Perl,Ruby 等 のスクリプト 言 語 のインタプリタも 指 定 できる 例 : (shを 指 定 ): -S /bin/sh (Perlを 指 定 ): -S /usr/local/bin/perl ホームディレクトリではなく qsubコマンド 実 行 時 のディレクトリでジョブ を 実 行 する このオプションを 指 定 した 場 合 標 準 出 力 および 標 準 エラー 出 力 ファイルは qsubコマンド 実 行 時 のディレクトリに 出 力 される -o < 標 準 出 力 の 出 力 先 > -e < 標 準 エラー 出 力 の 出 力 先 > ジョブの 標 準 出 力 および 標 準 エラー 出 力 の 出 力 先 を 指 定 する 標 準 出 力 または 標 準 エラー 出 力 をファイル 出 力 しない 場 合 は 出 力 先 に /dev/null を 指 定 する 例 : -o /dev/null e /dev/null 13
qsubの 主 なオプション2 -N <ジョブの 別 名 > qstat 等 で 確 認 可 能 なジョブの 名 前 を 指 定 した 名 前 に 変 更 する 指 定 しない 場 合 ジョブの 名 前 はスクリプト 名 と 同 じとなる -l リソース 要 求 1,リソース 要 求 2, -l リソース 要 求 1 l リソース 要 求 2 l 主 にキューの 選 択 メモリ 利 用 上 限 の 変 更 に 使 う 詳 細 は 後 述 する 14
ジョブの 状 況 確 認 投 入 したジョブの 状 況 はqstatコマンドで 確 認 する ジョブが 待 ち 行 列 に 入 っている 場 合 stateに qw が 表 示 される $ qstat job-id prior name user state submit/start at ------------------------------------------------------------- 325 0.00000 test.sh ddbjuser qw 03/19/2012 19:11:56 ジョブが 実 行 中 の 場 合 stateに r が 表 示 される $ qstat job-id prior name user state submit/start at ------------------------------------------------------------- 325 0.00000 test.sh ddbjuser r 03/19/2012 19:11:56 15
qstatの 主 なオプション -f -u [uid] キューの 利 用 状 況 を 合 わせて 表 示 する 例 : qstat f 指 定 した[uid]のジョブも 表 示 する * とすると 全 ユーザのジョブを 表 示 する 例 : qstat u * -j [jobid] 指 定 した[jobid]のジョブの 詳 細 情 報 を 確 認 する エラーステータス Eqw と なった 理 由 を 確 認 できる 例 : qstat j 325 16
ジョブの 削 除 ジョブを 削 除 する 場 合 qdelコマンドを 使 用 する ジョブの 削 除 は ジョブIDまたはUIDを 指 定 して 行 う ジョブIDを 指 定 する 場 合 (ジョブIDのみを 指 定 する) $ qsub test.sh Your job 326 ("test.sh") has been submitted $ qdel 326 ddbjuser has deleted job 326 UIDを 指 定 する 場 合 ( -u オプションを 使 用 し UIDを 指 定 する) $ qsub test.sh Your job 327 ("test.sh") has been submitted $ qsub test.sh Your job 328 ("test.sh") has been submitted $ qdel -u ddbjuser ddbjuser has registered the job 327 for deletion ddbjuser has registered the job 328 for deletion 17
ジョブの 実 行 結 果 確 認 実 行 が 終 了 したジョブの 詳 細 はqacctコマンドで 確 認 する ジョブが 実 際 に 消 費 したリソース 等 が 確 認 できる $ qacct -j 325 ============================================================== qname week_hdd.q hostname t165i group se owner ddbjuser project NONE ( 中 略 ) cpu 0.032 mem 0.001 io 0.000 iow 0.000 maxvmem 208.207M arid undefined 18
ジョブ 投 入 前 の 注 意 事 項 大 量 にジョブを 投 入 する 前 に 必 ずテストする メモリ 枯 渇 で 大 量 のホストがハングアップする 大 量 のエラージョブはUGEを 過 負 荷 にする 入 力 ファイル 最 終 出 力 のファイルを/tmp, /ssdのような 各 ホストローカルのディレクトリに 配 置 出 力 しない ジョブが 実 行 されるホストで 入 力 を 読 み 込 めない 実 行 後 に 結 果 を 参 照 できない 1ジョブで 同 時 実 行 するプロセスは1プロセスとする (1ジョブで 複 数 プロセスをフォークしない) 1プロセスのスレッド 数 は1スレッドとする (プロセスをマルチスレッドで 実 行 しない) 負 荷 分 散 が 適 切 に 実 施 できず ホストが ハングアップする 19
キューの 使 い 分 け 方 法 ( 研 究 用 )1 キューは -l オプションによるリソース 指 定 により 使 い 分 けができる リソースを 指 定 しない $ qsub test.sh week_hdd.q,week_ssd.qが 使 われる 優 先 順 位 は week_hdd.q > week_ssd.q month を 指 定 する( 長 い 計 算 時 間 が 見 込 まれる 場 合 に 指 定 ) $ qsub l month test.sh month_hdd.q,month_ssd.q,month_gpu.qが 使 われる 優 先 順 位 は month_hdd.q > month_ssd.q > month_gpu.q ssd を 指 定 する( SSDを 使 うジョブを 投 入 する 場 合 に 指 定 ) $ qsub l ssd test.sh week_ssd.qのみが 使 われる 20
キューの 使 い 分 け 方 法 ( 研 究 用 )2 month と ssd を 指 定 する ( SSDを 使 うジョブで 長 い 計 算 時 間 が 見 込 まれる 場 合 に 指 定 ) $ qsub l month l ssd test.sh month_ssd.q,month_gpu.qが 使 われる 優 先 順 位 は month_ssd.q > month_gpu.q month と gpu を 指 定 する ( GPUを 使 うジョブを 投 入 する 場 合 に 指 定 ) $ qsub l month l gpu test.sh month_gpu.qのみが 使 われる GPU 搭 載 ホストを 使 う 場 合 は 必 ず -l month を 指 定 する GPUを 要 求 するジョブは1 台 のGPU 搭 載 ホストで 同 時 に1ジョブのみ 動 作 可 能 month と medium を 指 定 する ( Mediumノードを 使 うジョブを 投 入 する 場 合 に 指 定 ) $ qsub l month l medium test.sh month_medium.qのみが 使 われる Mediumノードを 使 う 場 合 は 必 ず -l month を 指 定 する 21
キューの 使 い 分 け 方 法 ( 研 究 用 )3 month と fat を 指 定 する ( Fatノードを 使 うジョブを 投 入 する 場 合 に 指 定 ) $ qsub l month l fat test.sh month_fat.qのみが 使 われる Fatノードを 使 う 場 合 は 必 ず -l month を 指 定 する debug を 指 定 する ( ジョブの 動 作 確 認 を 行 う 場 合 に 指 定 ) $ qsub l debug test.sh debug.qが 使 われる debug と gpu を 指 定 する ( GPUを 使 うジョブの 動 作 確 認 を 行 う 場 合 に 指 定 ) $ qsub l debug l gpu test.sh debug.q 内 のGPU 搭 載 ホストが 使 われる 22
キューの 使 い 分 け 方 法 ( 研 究 用 )4 注 意 GPU Mediumノード Fatノードを 使 いたい 場 合 それらを 使 うための リソース 指 定 ( gpu, medium, fat ) 以 外 に month を 必 ず 指 定 する 現 在 のキュー 構 成 ではGPUノード Mediumノード Fatノードはすべて 長 時 間 計 算 向 けのキューにのみ 割 り 当 てられているため それらのキューを 使 うためには month のリソース 指 定 が 必 要 となる month の 指 定 がない 場 合 現 在 のキューにはリソース 指 定 条 件 に 該 当 する リソースがないためサブミットは 正 常 に 行 われるがジョブは 実 行 されない 23
キューの 使 い 分 け 方 法 ( 業 務 用 )1 リソースを 指 定 しない $ qsub test.sh week_hdd.q,week_ssd.qが 使 われる 優 先 順 位 は week_hdd.q > week_ssd.q month を 指 定 する( 長 い 計 算 時 間 が 見 込 まれる 場 合 に 指 定 ) $ qsub l month test.sh month_hdd.q,month_ssd.qが 使 われる 優 先 順 位 は month_hdd.q > month_ssd.q ssd を 指 定 する( SSDを 使 うジョブを 投 入 する 場 合 に 指 定 ) $ qsub l ssd test.sh week_ssd.qが 使 われる 24
キューの 使 い 分 け 方 法 ( 業 務 用 )2 month と ssd を 指 定 する ( SSDを 使 うジョブで 長 い 計 算 時 間 が 見 込 まれる 場 合 に 指 定 ) $ qsub l month l ssd test.sh month_ssd.qが 使 われる debug を 指 定 する ( ジョブの 動 作 確 認 を 行 う 場 合 に 指 定 ) $ qsub l debug test.sh debug.qが 使 われる 25
大 量 のメモリを 使 用 する 場 合 1 UGEジョブが 利 用 可 能 なメモリ 量 は デフォルトでは4GBに 制 限 されている 大 容 量 メモリを 使 用 する 場 合 は 利 用 時 に -l オプションでメ モリ 利 用 量 を 宣 言 する 1ジョブで8GBのメモリを 使 用 する 場 合 $ qsub l s_vmem=8g l mem_req=8g test.sh Mediumノード 上 で 1ジョブで128GBのメモリを 使 用 する 場 合 $ qsub l s_vmem=128g l mem_req=128g l month l medium test.sh 26
大 量 のメモリを 使 用 する 場 合 2 s_vmem: ジョブが 使 用 可 能 な 仮 想 メモリの 上 限 値 を 宣 言 する ジョブは こ こで 指 定 した 量 を 超 えるメモリは 使 用 できない mem_req: 使 用 するメモリの 量 を 宣 言 する 実 行 ホストにはメモリの 残 容 量 を 表 す 指 標 として mem_req の 値 が 設 定 されており ジョブの 実 行 状 況 により 増 減 する 負 荷 分 散 の 指 標 の 一 つとして 使 われている Job mem_req= 8G qmaster execd mem_req=64g execd Job mem_req= execd 8G ジョブ 実 行 中 はジョブで 宣 言 された 分 だけホストの mem_req 値 が 減 る ジョブが 終 了 するとジョブで 宣 言 された 分 のmem_reqは 元 に 戻 る Job mem_req= 128G mem_req=64g execd mem_req=56g Job execd mem_req= 128G ジョブで 宣 言 された mem_reqよりホストの mem_req 値 が 低 い 場 合 その ホストでジョブは 実 行 されな い mem_req=2048g mem_req=1920g 27
アレイジョブ1 ジョブをアレイジョブとして 投 入 すると 同 一 のジョブに 異 なるパラメータを 不 えて 繰 り 返 し 実 行 できる qsubの -t オプションを 用 いるとアレイジョブを 投 入 できる $ cat arraytest.sh #!/bin/sh #$ -S /bin/sh echo --- echo JOB_ID: ${JOB_ID} echo SGE_TASK_ID: ${SGE_TASK_ID} echo SGE_TASK_FIRST: ${SGE_TASK_FIRST} echo SGE_TASK_LAST: ${SGE_TASK_LAST} echo SGE_TASK_STEPSIZE: ${SGE_TASK_STEPSIZE} echo --- $ qsub t 1-6:2 arraytest.sh Your job-array 1031.1-6:2 ("arraytest.sh") has been submitted $ qstat job-id prior name user state submit/start at queue slots jatask-id ----------------------------------------------------------------------------------------------------------- ------ 1031 0.50000 arraytest. ddbjuser r 03/19/2012 00:43:13 week_hdd.q@t168i 1 1 1031 0.50000 arraytest. ddbjuser r 03/19/2012 00:43:13 week_hdd.q@t168i 1 3 1031 0.50000 arraytest. ddbjuser r 03/19/2012 00:43:13 week_hdd.q@t178i 1 5 28
アレイジョブ2 $ ls arraytest.sh.o1031.* arraytest.sh.o1031.1 arraytest.sh.o1031.3 arraytest.sh.o1031.5 $ cat arraytest.sh.o1031.1 --- JOB_ID: 1031 SGE_TASK_ID: 1 SGE_TASK_FIRST: 1 SGE_TASK_LAST: 6 SGE_TASK_STEPSIZE: 2 --- $ cat arraytest.sh.o1031.5 --- JOB_ID: 1031 SGE_TASK_ID: 5 SGE_TASK_FIRST: 1 SGE_TASK_LAST: 10 SGE_TASK_STEPSIZE: 2 --- UGEが 過 負 荷 となることを 防 ぐため 1ユーザあたりの 投 入 可 能 なジョブ 数 に は 上 限 がある 上 限 を 上 回 るジョブを 投 入 しようとするとエラーになってジョ ブを 投 入 できない 本 システムでの1ユーザあたりのジョブ 投 入 数 上 限 は5000 アレイジョブとしてジョブを 投 入 すると UGEに 不 える 負 荷 を 軽 減 できる 5000ジョブのアレイジョブを 投 入 すれば 5000 * SGE_TASK_ID 分 のジョブを 実 行 できる SGE_TASK_IDの 上 限 は75000 29
MPIジョブ1 MPIジョブを 投 入 するシェルスクリプトの 例 を 以 下 に 示 す $ cat mpitest.sh #!/bin/sh #$ -S /bin/sh #$ -pe mpi 2-24 #$ -cwd /usr/local/bin/mpirun -np $NSLOTS -machinefile $TMPDIR/machines./mpitest -pe <MPI 実 行 環 境 名 > < 最 小 並 列 数 >-< 最 大 並 列 数 > MPI 実 行 環 境 ( 後 述 ) 最 小 並 列 数 最 大 並 列 数 を 指 定 する $NSLOTS キューの 空 き 状 況 に 応 じて 上 記 の[ 最 小 並 列 数 ]~[ 最 大 並 列 数 ]から 自 動 決 定 した 値 が 設 定 される -machinefile $TMPDIR/machines ファイル$TMPDIR/machinesは UGEが 自 動 生 成 する 30
MPIジョブ2 MPIジョブをUGEに 投 入 する $ qsub mpitest.sh Your job 1292 ("mpitest.sh") has been submitted $ qstat job-id prior name user state submit/start at queue slots ja-task-id ----------------------------------------------------------------------------------- ------------------------------ 1292 0.50000 mpitest.sh ddbjuser r 03/19/2012 20:55:24 week_hdd.q@t303i 24 $ cat mpitest.sh.o1292 Hellow World from Process 0 of 24 running on t303 Hellow World from Process 1 of 24 running on t290 ( 中 略 ) Hellow World from Process 19 of 24 running on t311 主 なMPI 実 行 環 境 : mpi: 並 列 ジョブを 可 能 な 限 り 多 くのホストを 利 用 して 実 行 する mpi-fillup: 並 列 ジョブを 可 能 な 限 り 同 一 のホストで 実 行 する 31
並 列 環 境 def_slotの 使 用 複 数 プロセスをフォークするジョブ マルチスレッドのプロセスを 実 行 するジョブ 等 そのまま 投 入 した 場 合 に 過 負 荷 を 引 き 起 こす 可 能 性 のあるジョブをやむを 得 ず 投 入 する 必 要 がある 場 合 に 使 用 する $ qsub pe def_slot 2 test.sh def_slot に 続 く 値 で このジョブが 消 費 するジョブスロット 数 を 再 定 義 する この 例 の 場 合 このジョブはジョブスロットを2つ 消 費 する 対 象 となるジョブ 内 で 同 時 起 動 されるプロセスの 最 大 数 ジョブ 内 で 起 動 されるプロセスが 使 用 する 最 大 スレッド 数 を 指 定 する 値 の 目 安 とする 32
問 い 合 わせ 先 丌 明 点 またはご 意 見 等 があれば 下 記 にお 問 い 合 わせ 下 さい 遺 伝 研 スパコンSE Mail:sc-info@nig.ac.jp 居 室 :w202 内 線 :( 後 日 以 下 のURLに 記 載 します) http://www.ddbj.nig.ac.jp/system/supercom/s upercom-intro.html 33