<4D6963726F736F667420506F776572506F696E74202D20834B8343835F83938358815C8FEE95F183568358836583808A7793C195CA8D758B608252816932303134944E348C8E3893FA816A202D2048502E70707478>

ガイダンス 東 京 大 学 情 報 基 盤 センター 准 教 授 片 桐 孝 洋 204 年 4 月 8 日 ( 火 )4:40-6:0

ガイダンスの 流 れ. 講 義 の 目 的 2. 講 師 紹 介 3. 講 義 日 程 の 確 認 4. 成 績 の 評 価 方 法 5. イントロダクション(30 分 ) 2

本 講 義 の 目 的 近 年 京 コンピュータに 代 表 される 世 界 トップクラスのスーパーコンピュータが 開 発 され 注 目 されている それに 伴 い スーパーコンピュータの 技 術 を 取 り 扱 う 高 性 能 計 算 (HPC) 分 野 も 注 目 されている そこで 本 講 義 では HPCに 関 する 講 義 を 修 士 学 生 向 けの 内 容 で 開 講 し HPC 分 野 の 基 礎 技 術 を 習 得 することを 狙 う 特 に 並 列 処 理 と 並 列 プログラミングのための 通 信 ライブラリMPI(Message Passing Interface)の 知 識 は 必 須 であり スーパーコンピュータ 利 用 の 観 点 か ら 詳 しく 解 説 する 並 列 プログラミング 実 習 に 関 する 話 題 を 取 り 上 げ 実 際 にスーパーコンピュー タを 利 用 する 際 に 必 要 となる 技 術 についても 紹 介 する HPC 分 野 で 近 年 注 目 されている ソフトウェアの 自 動 チューニング 技 術 に 関 する 話 題 も 取 り 扱 い HPC 分 野 の 基 礎 から 最 新 技 術 まで 幅 広 く 解 説 する 3

講 師 紹 介 お 前 は 何 者 か? 名 前 : 片 桐 孝 洋 (かたぎり たかひろ) 経 歴 : 994 年 3 月 国 立 豊 田 工 業 高 等 専 門 学 校 情 報 工 学 科 卒 業 996 年 3 月 京 都 大 学 工 学 部 情 報 工 学 科 卒 業 996 年 4 月 東 京 大 学 大 学 院 理 学 系 研 究 科 情 報 科 学 専 攻 修 士 課 程 入 学 200 年 3 月 東 京 大 学 大 学 院 理 学 系 研 究 科 情 報 科 学 専 攻 博 士 課 程 修 了 200 年 4 月 日 本 学 術 振 興 会 特 別 研 究 員 -PD 200 年 2 月 科 学 技 術 振 興 事 業 団 さきがけ 研 究 2 専 任 研 究 者 2002 年 6 月 ~2007 年 3 月 電 気 通 信 大 学 大 学 院 情 報 システム 学 研 究 科 助 手 2005 年 3 月 ~2006 年 月 米 国 カリフォルニア 大 学 バークレー 校 計 算 機 科 学 科 訪 問 学 者 2007 年 4 月 ~20 年 2 月 東 京 大 学 情 報 基 盤 センター 特 任 准 教 授 20 年 2 月 ~ 現 在 東 京 大 学 情 報 基 盤 センター 准 教 授 < 並 列 数 値 計 算 アルゴリズム> <ソフトウェア 自 動 チューニング> 分 野 で 現 在 も 論 文 とプログラムを 書 いている 現 役 の 研 究 者! 詳 しくは 片 桐 孝 洋 でググってください 4

講 義 日 程 ( ). 4 月 8 日 : ガイダンス 2. 4 月 5 日 プログラム 高 速 化 の 基 礎 (その) 3. 4 月 22 日 プログラム 高 速 化 の 基 礎 (その2) 4. 5 月 3 日 MPIの 基 礎 5. 5 月 20 日 OpenMPの 基 礎 6. 5 月 27 日 Hybrid 並 列 化 技 法 (MPIとOpenMPの 応 用 編 ) 7. 6 月 3 日 プログラム 高 速 化 の 応 用 8. 6 月 0 日 行 列 ーベクトル 積 の 並 列 化 5 9. 6 月 7 日 べき 乗 法 の 並 列 化 0. 6 月 24 日 行 列 - 行 列 積 の 並 列 化. 7 月 8 日 LU 分 解 の 並 列 化 2. 7 月 5 日 非 同 期 通 信 疎 行 列 反 復 解 法 の 並 列 化 3. 7 月 22 日 ソフトウェア 自 動 チューニング 4. 8 月 5 日 ( 補 講 日 ) エクサフロップスコンピューティング に 向 けて レポートおよびコンテスト 課 題 ( 締 切 : 204 年 8 月 日 ( 月 )24 時 厳 守

評 価 方 法. 実 習 で 出 題 される 課 題 を 解 きレポートにして 提 出 ( 提 出 は 回 のみ)(80%) 加 算 方 式 解 けば 解 くほど 評 価 が 高 まる すべての 問 題 を 解 く 必 要 はない( 解 けないほど 多 く 出 す) 2. 出 席 日 数 (20%) 6

今 までの 様 子. 203 年 度 前 学 期 登 録 者 4 名 取 得 者 :35 名 優 :32 名 良 :2 名 可 : 名 7

受 講 のメリット 東 京 大 学 のスパコン(FX0スーパー コンピュータシステム)が 無 料 で 利 用 可 能! 前 回 の 講 義 の 経 験 から 強 制 はしませんが 東 京 大 学 のスパコンの 利 用 登 録 を 推 奨 します 理 由 課 題 提 出 がやりやすい 講 義 中 に グループ 分 けして(PCが 持 ち 込 める 人 を 中 心 に) プログラム 演 習 の 時 間 を 作 ることを 計 画 しています ただし 取 得 のためには 演 習 の 参 加 および プログラミングは 必 須 ではありません( 補 足 資 料 参 照 ) 8

東 大 FX0スーパーコンピュータシステム の 利 用 ( 講 義 受 講 者 のみ 無 料 で 利 用 可 能 ) 希 望 者 は 基 盤 センタのスーパコンピュータ ( 富 士 通 FX0スーパーコンピュータシステム)の 利 用 が 無 料 でできます 利 用 希 望 者 は 電 子 メールで 名 前 所 属 学 籍 番 号 を 記 載 し subject: 電 通 大 講 義 でのFX0 利 用 申 込 とし katagiri@cc.u-tokyo.ac.jp まで 204 年 4 月 8 日 ( 金 )までに 送 ってください 9

参 考 資 料 について 配 布 したプリントに 従 い 以 下 の 参 考 資 料 を ダウンロードしてください 講 義 OHPのPDFファイル http://www.kata-lab.itc.u-tokyo.ac.jp/class-matr.htm 0

教 科 書 ( 演 習 書 ) スパコンプログラミング 入 門 - 並 列 処 理 とMPIの 学 習 - 片 桐 孝 洋 著 東 大 出 版 会 ISBN978-4-3-062453-4 発 売 日 :203 年 3 月 2 日 判 型 :A5, 200 頁 本 書 の 特 徴 C 言 語 で 解 説 C 言 語 Fortran90 言 語 のサンプルプログラムが 付 属 数 値 アルゴリズムは 図 でわかりやすく 説 明 本 講 義 の 内 容 を 全 てカバー 内 容 は 初 級 初 めて 並 列 数 値 計 算 を 学 ぶ 人 向 けの 入 門 書

参 考 書 並 列 数 値 処 理 - 高 速 化 と 性 能 向 上 のために - 金 田 康 正 東 大 教 授 理 博 編 著 片 桐 孝 洋 東 大 特 任 准 教 授 博 士 ( 理 学 ) 著 黒 田 久 泰 愛 媛 大 准 教 授 博 士 ( 理 学 ) 著 山 本 有 作 神 戸 大 教 授 博 士 ( 工 学 ) 著 五 百 木 伸 洋 日 立 製 作 所 著 コロナ 社 発 行 年 月 日 :200/04/30, 判 型 : A5, ページ 数 :272 頁 ISBN:978-4-339-02589-7, 定 価 :3,990 円 ( 本 体 3,800 円 + 税 5%) 本 書 の 特 徴 Fortran 言 語 で 解 説 数 値 アルゴリズムは 数 式 などで 厳 密 に 説 明 本 講 義 の 内 容 に 加 えて 固 有 値 問 題 の 解 法 疎 行 列 反 復 解 法 FFT ソート など 主 要 な 数 値 計 算 アルゴリズムをカバー 内 容 は 中 級 ~ 上 級 専 門 として 並 列 数 値 計 算 を 学 びたい 人 向 き 2

教 科 書 の 利 用 方 法 ( 配 布 の 補 足 資 料 を 参 考 ) 本 講 義 の 全 内 容 演 習 内 容 をカバーした 資 料 教 科 書 というより 実 機 を 用 いた 並 列 プログラミングの 演 習 書 として 位 置 づけられている 使 える 並 列 計 算 機 があることが 前 提 付 属 の 演 習 プログラムの 利 用 について. 東 京 大 学 情 報 基 盤 センターのFX0スーパーコンピュータ システムでそのまま 利 用 する 無 料 でサンプルプログラムがFX0 上 からも 取 得 できます 2. 研 究 室 のPCクラスタ(MPIが 利 用 できるもの)で 利 用 する 3. 東 大 以 外 の 大 学 等 のスーパーコンピュータで 利 用 する 各 自 のPCを 用 いて (MPIではない) 逐 次 プログラムで 演 習 する( 主 に 逐 次 プログラムの 高 速 化 の 話 題 ) 3

イントロダクション スパコンとは 何 か? 4

スーパコンピュータとは 人 工 知 能 搭 載 のコンピュータではない 明 確 な 定 義 はない 現 在 の 最 高 レベルの 演 算 性 能 をもつ 計 算 機 のこと 経 験 的 には PCの000 倍 高 速 で 000 倍 大 容 量 な メモリをもつ 計 算 機 外 為 法 安 全 保 障 貿 易 管 理 の 外 国 為 替 及 び 外 国 貿 易 法 の 法 令 ( 平 成 24 年 7 月 3 日 公 表 )の 規 制 対 象 デジタル 電 子 計 算 機 第 7 条 三 項 ハ:デジタル 電 子 計 算 機 であって 加 重 最 高 性 能 が 三 〇 実 効 テラ 演 算 を 超 えるもの 現 在 ほとんどすべてのスーパーコンピュータは 並 列 計 算 機 東 京 大 学 情 報 基 盤 センタが 所 有 する FX0スーパコンピュータシステムも 並 列 計 算 機 5

スーパコンピュータの 歴 史 976 年 Cray- ベクトル 型 クレイ 社 974 年 ( 機 ) ILLIAC-IV 並 列 型 (64プロセッサ) イリノイ 大 学 出 典 :http://ja.wikipedia.org/wiki/cray- 出 典 :http://ja.wikipedia.org/wiki/illiac_iv 6 世 界 一 高 価 なイス! (500-800 万 ドル) 最 悪 スパコン (0 年 遅 れ 性 能 目 標 低 下 3,00 万 ドル)

スーパーコンピュータで 用 いる TFLOPS(テラ フロップス Tera Floating Point Operations Per Second) 秒 間 に 回 の 演 算 能 力 ( 浮 動 小 数 点 )がFLOPS K(キロ)は,000( 千 ) M(メガ)は,000,000( 百 万 ) G(ギガ)は,000,000,000 ( 十 億 ) T(テラ)は,000,000,000,000( 一 兆 ) だから 一 秒 間 に 一 兆 回 の 浮 動 小 数 点 演 算 の 能 力 がある こと PFLOPS(ぺタ フロップス) 秒 間 に0. 京 (けい) 回 の 浮 動 小 数 点 演 算 の 能 力 がある 京 コンピュータ (202 年 9 月 共 用 開 始.2PFLOPS 現 在 TOP500で3 位 ) PCの 演 算 能 力 は? 3.3GHz( 秒 間 に3.3G 回 のクロック 周 波 数 )として もしクロックあたり 回 の 浮 動 小 数 点 演 算 ができれば3.3GFLOPS Intel Core i7 (Sandy Bridge)では 6コア クロックで8 回 の 浮 動 小 数 計 算 ができる ので 3.3 GHz * 8 回 浮 動 小 数 点 演 算 /Hz * 6コア = 58.4 GFLOPS Cray-は60MFLOPS 970 年 代 のスパコンより PCの 方 が990 倍 以 上 高 速! 7

スーパコンピュータ 用 語 理 論 性 能 (Theoretical Performance) ハードウエア 性 能 からはじき 出 した 性 能 クロックに 実 行 できる 浮 動 小 数 点 回 数 から 算 出 したFLOPS 値 を 使 うことが 多 い 実 効 性 能 (Effective Performance) 何 らかのベンチマークソフトウエアを 実 行 して 実 行 時 間 を 計 測 そのベンチマークプログラムに 使 われている 浮 動 小 数 点 演 算 を 算 出 以 上 の 値 を 基 に 算 出 したFLOPS 値 のこと 連 立 一 次 方 程 式 の 求 解 ベンチマークであるLINPACKを 用 いることが 多 い 8

ムーアの 法 則 米 Intel 社 の 設 立 者 ゴードン ムーアが 提 唱 した 半 導 体 技 術 の 進 歩 に 関 する 経 験 則 半 導 体 チップの 集 積 度 は およそ8ヵ 月 で2 倍 になる これから 転 じて マイクロプロセッサの 性 能 は およそ8ヵ 月 で2 倍 になる 上 記 によると 約 5 年 で0 倍 となる 9

スーパーコンピュータ 性 能 推 移 ( 主 に 日 本 製 理 論 性 能 ) Cray- Tianhe-2 (NUDT) Titan (DOE/SC/ORNL) Sequoia(DOE/NNSA/LLNL) K-Computer (RIKEN) Tianhe-A(NUDT) Jaguar(ORNL) TUBAME( 工 大 ) T2K( 東 大 ) SR000( 東 大 ) FX(JAXA) SX-8 SR8000( 東 大 ) SX-7E2S( 地 球 Sim) SX-4 SX-6 地 球 シミュレータ SX-4 SX-5 SX-3 SR220( 東 大 ) SX-2 VP-2600 S-80 S-820 VP-200 ILLIAC-IV FACOM230 20

スーパコンピュータのランキング TOP500 Supercomputer Sites (http://www.top500.org/) LINPACKの 値 から 実 効 性 能 を 算 出 した 値 の 500 位 までのランキング 米 国 オークリッジ 国 立 研 究 所 /テネシー 大 学 ノックスビル 校 の Jack Dongarra 教 授 が 発 案 毎 年 6 月 月 ( 米 国 の 国 際 会 議 SC xy) に 発 表 2

現 在 のランキング 出 典 :http://www.top500.org/list/202/06/00 22

京 コンピュータ(K-Computer) 理 研 理 研 計 算 科 学 機 構 ( 神 戸 ポートアイランド) 202 年 9 月 共 用 開 始 CPU:SPARC64 VIIIfx(CPU 当 たり 28GFLOPS) 20 年 月 TOP500のLINPACK 性 能 理 論 性 能 :.280 PLOPS 実 行 性 能 :0.50 PFLOPS 効 率 :93.% 23 参 照 : 理 研 計 算 科 学 機 構 (http://www.aics.riken.jp/index.html )

東 工 大 TUBAME2.5 HP Proliant SL390s G7 CPU: Intel Xeon 2.93 GHz (6 cores) x 2 (Hyperthreading enabled) GPU: NVIDIA Tesla K20X x 3 Memory: 54GB( 一 部 28GB) 408 台 合 計 コア 数 :74,358コア LINPACK 効 率 2843TF/5609TF = 50.6% 参 考 :http://tsubame.gsic.titech.ac.jp/hardware-architecture 24

国 内 のスーパコンピュータ - 地 球 シミュレータ2 海 洋 研 究 開 発 機 構 地 球 シミュレータ2 NEC SX-9 280プロセッサ ノードあたり8プロセッサ 60ノード 理 論 性 能 : 3TFLOPS 実 効 性 能 : 22.4TFLOPS 実 効 効 率 : 93.4% 25 参 照 : 海 洋 研 究 開 発 機 構 (http://www.jamstec.go.jp/es/jp/system/index.html)

東 京 大 学 情 報 基 盤 センター スパコン(/2) HITACHI SR6000 Total Peak performance : 54.9 TFLOPS Total number of nodes : 56 Total memory : 200 GB Peak performance per node : 980.4 GFLOPS Main memory per node : 200GB Disk capacity : 556 TB IBM POWER7 3.83GHz (30.64GFLOPS) 20 年 0 月 ~ 試 験 運 用 開 始 26 26

東 京 大 学 情 報 基 盤 センター スパコン(2/2) Fujitsu PRIMEHPC FX0 (FX0スーパーコンピュータシステム) Total Peak performance :.3 PFLOPS Total number of nodes : 4,800 Total memory : 50TB Peak performance per node : 236.5 GFLOPS Main memory per node : 32 GB Disk capacity : 2. PB SPARC64 IXfx.848GHz 202 年 4 月 2 日 運 用 開 始 FX0 (Oakleaf-FX)@ 柏 長 時 間 ジョブ 用 FX0 (Oakbridge-FX)@ 本 郷 27 27

Core #0 Core # Core #2 FX0 計 算 ノードの 構 成 Core #3 各 CPUの 内 部 構 成 ソケットのみ L L L L : Lデータキャッシュ32KB L L L L Core #2 Core #3 Core #4 20GB/ 秒 Core #5 Network ICC L2 (6コアで 共 有 2MB) 85GB/ 秒 =(8Byte 333MHz 8 channel) Memory Memory Memory Memory DDR3 DIMM 4GB 2 枚 4GB 2 枚 4GB 2 枚 4GB 2 枚 ノード 内 合 計 メモリ 量 :8GB 4=32GB 28

FX0の 通 信 網 ( ) 計 算 ノード 内 ノード ノード ノード ノード ノード ノード ノード ノード ノード 間 の 結 合 用 6 本 それぞれ 5GB/ 秒 ( 双 方 向 ) ノード ノード ノード ノード 29

FX0の 通 信 網 ( 間 の 結 合 ) 単 位 単 位 3 次 元 接 続 単 位 単 位 30 ユーザから 見 ると X 軸 Y 軸 Z 軸 について 奥 のと 手 前 の は 繋 がってみえます (3 次 元 トーラス 接 続 ) ただし 物 理 結 線 では X 軸 はトーラス Y 軸 はメッシュ Z 軸 はメッシュまたは トーラス になっています

東 大 情 報 基 盤 センターFX0スーパーコンピュ ータシステムの 料 金 表 (20 年 4 月 日 ) パーソナルコース( 年 間 ) コース: 20,000 円 : 2ノード( 優 先 ) 最 大 24ノードまで コース2: 250,000 円 : 24ノード( 優 先 ) 最 大 96ノードまで グループコース 500,000 円 : 口 2ノード( 優 先 ) 最 大 440ノードまで 以 上 は トークン 制 で 運 営 申 し 込 みノード( 優 先 ノード) 360 日 24 時 間 の トークン が 与 えら れる 優 先 ノードまでは トークン 消 費 係 数 が.0 優 先 ノードを 超 えると 超 えた 分 は 消 費 係 数 が2.0になる 3

来 週 へつづく 並 列 数 値 計 算 の 基 礎 32