1/37 大 規 模 計 算 による 非 平 衡 研 究 の 可 能 性 渡 辺 宙 志 東 京 大 学 物 性 研 究 所 物 質 設 計 評 価 施 設 渡 辺 宙 志 東 大 物 性 研 マスコット 物 性 犬 2015/7/29 物 性 若 手 夏 の 学 校 分 科 会
お 仕 事 自 己 紹 介 (1/2) 東 京 大 学 物 性 研 究 所 物 質 設 計 評 価 施 設 設 計 部 助 教 (スパコン 助 教 ) 物 性 研 スパコンの 調 達 運 用 がお 仕 事 研 究 専 門 : ( 多 分 ) 統 計 力 学 研 究 手 段 : スパコン 短 距 離 分 子 動 力 学 法 並 列 化 研 究 対 象 : 粒 子 系 の 相 転 移 や 非 平 衡 現 象 を 研 究 2/37 僕 と 夏 学 1999 年 : 第 44 回 参 加 (ここで 次 期 準 備 局 員 に) 2000 年 : 第 45 回 参 加 ( 準 備 局 初 のインカレ 体 制 ) 2001 年 : 第 46 回 参 加 2002 年 : 第 47 回 参 加 時 は 流 れ 2015 年 : 第 60 回 参 加
自 己 紹 介 (2/2) 私 とスパコン 2001 年 (D1): 物 性 研 SGI 2800/384 2002 年 (D2): 筑 波 大 CP-PACS 2003 年 (D3): JAMSTEC 地 球 シミュレータ 2004 年 名 古 屋 大 学 情 報 科 学 研 究 科 に 赴 任 2005 年 物 性 研 SGI Altix 3700 2008 年 東 京 大 学 情 報 基 盤 センターに 赴 任 2009 年 九 州 大 学 SR16000 (42ノード) 25.3 TF 2010 年 核 融 合 研 究 所 SR16000 (128ノード) 77 TF 2010 年 物 性 研 究 所 に 赴 任 2010 年 物 性 研 SGI Altix 8400EX (1024ノード) 96 TF 2012 年 情 報 基 盤 センター FX10 (4800ノード) 1 PF 2014 年 理 研 京 10PFLOPS 3/37
4/37 数 値 計 算 は 真 に 科 学 を 発 展 させ 得 るか
はじめに 5/37 某 実 験 家 数 値 計 算 屋 は 実 験 の 後 追 いしかしてくれない 某 理 論 家 数 値 計 算 で 本 当 の 科 学 の 面 白 さがわかるとは 思 えない 某 数 値 計 算 屋 理 論 的 には 解 けないので 仕 方 なく 数 値 計 算 をせざるを 得 ない 扱 いがまるで 必 要 悪 数 値 計 算 で 何 を 研 究 するのか? スパコンで 何 をするのか?
数 値 計 算 とは 数 値 計 算 とは 何 か? いくつかの 支 配 方 程 式 を 数 値 的 に 計 算 することで 非 自 明 な 結 果 を 導 く 手 法 変 数 と 観 測 量 変 数 (variable)とは 我 々が 先 験 的 (a priori)に 認 める 物 理 量 観 測 量 (observable)は 変 数 から 導 かれる 物 理 量 6/37 支 配 方 程 式 と 変 数 支 配 方 程 式 を 記 述 する 自 由 変 数 は 先 験 的 (a priori)な 変 数 として 扱 う 非 自 明 な 結 果 ( 観 測 量 )は 先 験 的 変 数 の( 汎 ) 関 数 として 定 義 する 採 用 する 支 配 方 程 式 により 変 数 と 観 測 量 は 異 なる 圧 力 ( 応 力 テンソル)はナビエ ストークスでは 変 数 MDでは 観 測 量 温 度 は 熱 伝 導 方 程 式 では 変 数 MDでは 観 測 量
良 い 数 値 計 算 例 良 い 数 値 計 算 とは 何 か? 渡 辺 の 独 断 と 偏 見 による ケレスの 軌 道 計 算 (1801 年 ): ガウスの 三 ヶ 月 に 及 ぶ 計 算 により 準 惑 星 ケレスの 位 置 が 予 測 される 最 小 二 乗 法 の 初 めての 本 格 的 な 適 用 例 7/37 Alder 転 移 (1957 年 ): MDやMCにより 剛 体 球 系 に 固 体 - 流 体 転 移 が 存 在 することを 確 認 固 体 - 流 体 転 移 に 本 質 的 なのは 斥 力 相 互 作 用 ( 排 除 体 積 効 果 ) FPU 格 子 のエルゴード 性 (1953 年 ): 非 線 形 格 子 の 振 動 が 熱 平 衡 状 態 に 到 達 しない(エルゴードでない) ソリトンの 発 見 可 積 分 系 へと 発 展 四 色 問 題 (1976 年 ): 二 次 元 平 面 グラフは 四 彩 色 可 能 である 計 算 機 なしには( 事 実 上 ) 証 明 不 可 能 な 数 学 定 理 シンプルな 模 型 から 導 かれる 非 自 明 な 結 果 本 質 的 に 多 体 問 題 であり 計 算 機 の 助 けが 必 要 我 々は 数 値 計 算 を 使 って 本 質 的 な 研 究 ができるだろうか? さらに スパコンを 使 って 初 めて 見 えてくる 世 界 はあるだろうか?
8/37 スパコンを 使 うということ
スパコンとはなにか? (1/2) 9/37 構 成 要 素 コアを 複 数 束 ねてCPU CPUとメモリを 複 数 束 ねてノード ノードを 複 数 束 ねてラック ラックを 複 数 束 ねて 一 つのスパコン ノードの 構 成 要 素 は 通 常 のPCと 変 わらない Core Core CPU Core Core CPU Node Memory Memory CPU Rack Node Node Node Node Node Node System Rack Node Node Node Node Node Node 何 がスーパーか? ネットワーク ネットワークと 信 頼 性 あと 使 いづらさもスーパー 通 常 のPCのネットワークはEthernet (レイテンシ 20 50 µ 秒 ) 多 くのスパコンのネットワークはInfiniBand (レイテンシ < 1.0µ 秒 ) 最 近 のノードは 約 1TFLOPS 1µ 秒 に100 万 回 計 算 できる レイテンシ1.0µ 秒 のシステムでは 100 万 回 計 算 して 一 度 同 期 する プログラムの 性 能 が50%に 劣 化 低 レイテンシであるほどプログラムが 楽 になる
TOP500と 信 頼 性 スパコンとはなにか? (2/2) 10/37 LINPACKというベンチマークプログラムで 性 能 を 測 定 メインは 連 立 一 次 方 程 式 の 解 法 一 番 時 間 がかかるのがDGEMM (Double General Matrix Multiply) O(N^3) Top500 は 年 に2 回 測 定 があり 京 は 二 期 連 続 首 位 ( 現 在 4 位 ) 問 題 サイズは 自 由 に 設 定 できる 性 能 を 出 すのにはサイズが 大 きいほうが 有 利 ( 通 信 が 相 対 的 に 無 視 できるから) ただし 大 きいと 時 間 がかかる ( 故 障 が 心 配 ) 京 が1 位 をとったときの 計 算 時 間 は29 時 間 28 分 88128CPU(705024コア)なので 2372コア 年 このジョブがまっとうに 走 るためには 最 低 でも10 倍 の 保 証 期 間 が 欲 しい 2 万 年 保 証 逆 に ノードが5 年 に 一 度 壊 れる 程 度 の 通 常 の 保 証 しかないと 平 均 30 分 に 一 つノードが 壊 れる スパコンとして 使 い 物 にならない スパコンで 一 番 お 金 がかかるところは 名 目 ピーク 性 能 ではない
スパコンプログラミング (1/2) ノード ( 国 内 ) 11/37 物 置 工 場 (CPUコア) (キャッシュ) 国 内 流 通 (メモリ 転 送 ) 倉 庫 (メモリ) ボトルネック 別 の 国 の 倉 庫 ( 別 のノードのメモリ) 貿 易 (ノード 間 通 信 )
スパコンプログラミング (2/2) 12/37 CPUには 様 々な 種 類 がある 種 類 ごとに 得 意 不 得 意 がある 種 類 ごとにコードを 開 発 する 必 要 がある 第 五 世 代 SS SH-2 PS R3000A (MIPS) N64 VR4300 (MIPS) 第 六 世 代 DC SH-4 PS2 MIPS (Emotion Engine) GC IBM PowerPC カスタム (Gekko) Xbox Intel Celeron (Pentium III ベース) 物 性 研 SGI Origin 2800 (MIPS) KEK Blue Gene/Q (PowerPC) via http://scwww.kek.jp/ 第 七 世 代 Wii IBM PowerPC カスタム Xbox 360 IBM PowerPC カスタム PS3 IBM Cell 3.2 第 八 世 代 Wii U IBM Espresso Power PS4 AMD Jaguar Xbox One AMD Jaguar LANL Roadrunner (Cell) via http://ja.wikipedia.org/wiki/roadrunner
チューニング 例 13/37 作 用 反 作 用 無 視 相 互 作 用 粒 子 ソート 同 じものを 二 回 計 算 メモリ 転 送 量 が 半 分 に 条 件 分 岐 削 除 1. 粒 子 の 距 離 を 計 算 2. ある 程 度 以 上 遠 ければ 次 のペアへ 3. 粒 子 間 の 力 を 計 算 4. 速 度 を 更 新 5. 次 のペアへ 1. 粒 子 の 距 離 を 計 算 2. 粒 子 間 の 力 を 計 算 3. もし 距 離 が 遠 ければ 力 をゼロに 上 書 き 4. 速 度 を 更 新 5. 次 のペアへ 実 際 にはソフトウェアパイプライニングというテク ニックで 予 め 距 離 を 計 算 し 判 定 に 間 に 合 わせる 同 じ 粒 子 と 相 互 作 用 する 粒 子 をまとめる メモリ 転 送 量 が 半 分 に (レジスタ 活 用 ) A1 = 1/C1 A2 = 1/C2 除 算 削 除 D = 1/(C1*C2) A1 = D*C2 A2 = D*C1 除 算 二 回 を 除 算 1 回 乗 算 3 回 に 変 換 除 算 が 遅 いアーキテクチャで 有 効 その 他 細 かいチューニング 除 算 のSIMD 化 のため 低 精 度 逆 数 近 似 命 令 (frcpd)と 精 度 補 正 + ループアンロール+ 手 でソフトウェアパイプライニング
並 列 分 子 動 力 学 法 コード MDACP 14/37 MDACP (Molecular Dynamics code for Avogadro Challenge Project) Elapsed Time [sec] 500 400 300 200 100 Flat-MPI Hybrid http://mdacp.sourceforge.jp/ 3318 億 粒 子 並 列 化 効 率 72.3% 1310 億 粒 子 並 列 化 効 率 92.0% 計 算 条 件 京 コンピュータ flat-mpi: 8プロセス/ノード ハイブリッド: 8スレッド/ノード 400 万 粒 子 /ノード 最 大 3318 億 粒 子 2.44 PFLOPS (ピーク 比 23%) 0 1 8 64 512 4096 82944 Nodes 京 コンピュータをフルに 使 い 切 るコードを 書 いた 注 意 : ベンチマークコードから 物 の 論 文 を 書 くためのコード にするのは 大 変
15/37 分 子 動 力 学 法 による 非 平 衡 研 究 コードもできたし 研 究 しよう!
MDによる 非 平 衡 研 究 (1/2) 16/37 MDによる 非 平 衡 研 究 は 大 きく 分 けて2つのタイプがある 非 平 衡 定 常 型 熱 流 系 に 外 場 をかけ その 定 常 応 答 を 観 測 熱 伝 導 電 気 伝 導 クェット 流 etc. 主 な 興 味 は 線 形 応 答 論 を 超 える 理 論 の 構 築 非 平 衡 非 定 常 型 平 衡 状 態 にある 系 に 突 然 変 化 を 加 え 新 しい 平 衡 状 態 に 至 る 過 程 を 観 察 磁 場 反 転 断 熱 膨 張 ( 急 減 圧 ) 沸 騰
示 強 性 変 数 制 御 をしたくない 現 象 と 計 算 コスト MDによる 非 平 衡 研 究 (2/2) 温 度 や 圧 力 などの 示 強 性 変 数 制 御 は 時 間 発 展 の 意 味 を 変 える 観 測 値 の 異 常 が 人 為 的 なものか 系 に 内 在 するものか 判 断 しづらい 17/37 非 平 衡 非 定 常 系 平 衡 系 非 平 衡 定 常 系 タイムスケールのサイズ 依 存 性 が 弱 い ( 核 生 成 音 速 爆 発 ) 緩 和 にかかる 時 間 が 系 のサイズに 依 存 ( 遅 い 緩 和 を 持 つ 現 象 はさらに 厳 しい) 渡 辺 がとった 戦 略 空 間 を 稼 ぐ 並 列 化 に 比 べて 時 間 を 稼 ぐ 並 列 化 は 困 難 支 配 方 程 式 はなるべくシンプルに (ハミルトンの 運 動 方 程 式 をいじらない) 非 平 衡 非 定 常 過 程 を 研 究 する マルチスケールな 問 題 を 計 算 能 力 で 力 任 せに 解 決
平 衡 系 非 平 衡 系 (1/2) 示 量 変 数 示 強 変 数 18/37 U 内 部 エネルギー V 体 積 S エントロピー N 粒 子 数 P 圧 力 T 温 度 µ 化 学 ポテンシャル 示 量 変 数 をa prioriな 変 数 とし 示 強 変 数 を 定 義 する ( 温 度 とエントロピーは?)
平 衡 系 非 平 衡 系 (2/2) 19/37 平 衡 系 の 特 徴 マクロな 系 が 少 数 の 熱 力 学 変 数 により 記 述 される 示 強 変 数 が 系 内 で 時 間 的 空 間 的 に 一 様 である 例 : 気 液 共 存 状 態 GAS LIQUID 内 部 の 方 が 高 圧 非 平 衡 系 の 特 徴 熱 力 学 変 数 が 時 間 的 空 間 的 に 非 一 様 である 時 間 空 間 ともに 局 所 的 に 物 理 量 が 定 義 されなければならない 時 間 的 局 所 :スナップショットから 物 理 量 を 定 義 空 間 的 局 所 : 空 間 の 任 意 の 点 で 物 理 量 を 定 義 平 衡 状 態 においては 通 常 の 定 義 と 値 が 一 致 しなければならない
温 度 の 定 義 以 下 を 温 度 の 定 義 とすることが 多 い 非 平 衡 温 度 (1/2) 20/37 これは 分 配 関 数 の 部 分 積 分 から 導 かれる K 運 動 エネルギー N 粒 子 数 運 動 温 度 (Kinetic Temperature) 上 記 をもとに 非 平 衡 局 所 温 度 を 定 義 できる 座 標 に 関 しても 同 様 な 式 が 成 り 立 つ 状 態 温 度 (Configuration Temperature)
2 非 平 衡 温 度 (2/2) 運 動 温 度 と 状 態 温 度 の 時 間 発 展 粒 子 をFCCに 組 んでおき NVEで 時 間 積 分 したもの Kinetic Configuration 21/37 1.5 温 度 1 0.5 0 0 20 40 60 80 100 時 間 非 平 衡 状 態 においては 運 動 温 度 と 状 態 温 度 は 一 致 しない ( 平 衡 では 一 致 ) より 一 般 に ハミルトニアンを 構 成 する 各 自 由 度 ごとに 異 なる 温 度 を 感 じて 良 い 非 平 衡 温 度 はどのように 定 義 すべきか? 非 平 衡 研 究 はそもそも 物 理 量 の 定 義 が 難 しい
22/37 急 減 圧 による 多 重 気 泡 生 成 過 程
工 学 応 用 上 泡 は 厄 介 者 冷 却 システムで 気 泡 発 生 熱 交 換 効 率 低 下 スクリュー 周 りで 気 泡 発 生 騒 音 や 腐 食 気 液 混 相 流 の 全 粒 子 計 算 (1/2) お 湯 を 沸 かす ( 加 熱 による 発 泡 ) スクリューまわりの 気 泡 ( 減 圧 による 発 泡 ) 23/37 泡 を 理 解 / 制 御 したい from Wikipedia from Wikipedia 泡 の 発 生 の 研 究 は 難 しい (ナノメートル 程 度 の 相 互 作 用 がミリ センチメートル 程 度 の 現 象 を 支 配 ) 気 泡 気 泡 表 面 分 子 マクロ ミクロ 泡 の 発 生 成 長 メカニズムを 分 子 レベルから 明 らかにしたい 大 規 模 計 算 で 力 任 せに 解 明 する
気 液 混 相 流 の 全 粒 子 計 算 (2/2) 24/37 なぜ 大 規 模 計 算? 階 層 性 のある 非 平 衡 非 定 常 現 象 を 直 接 計 算 しようとしているから Micro Macro 応 用? 基 礎 理 論? 気 泡 生 成 気 泡 間 相 互 作 用 気 液 混 相 流 主 な 興 味 は 慣 性 を 伴 う 相 転 移 現 象 の 理 論 的 解 析 拡 散 と 流 れ の 間 にある 世 界 非 平 衡 系 の 統 計 力 学 的 解 析 Movie なぜ 分 動 力 学 法 計 算? 基 礎 理 論 ( 解 析 力 学 = 微 分 幾 何 学 )が 美 しいから a priori な 原 理 = 極 小 作 用 の 原 理 a priori な 物 理 量 = p, q a posteriori な 物 理 量 = (p,q)の 汎 関 数 として 定 義 模 型 はシンプル 数 値 計 算 結 果 は 非 自 明 ( 良 い 数 値 計 算 の 定 義 )
古 典 核 生 成 論 と 気 泡 生 成 仕 事 (1/2) 25/37 準 安 定 状 態 と 古 典 核 生 成 論 一 次 転 移 を 起 こす 系 で パラメータを 急 激 に 変 化 させると 準 安 定 状 態 になる Solid Liquid Gas G 液 相 が 絶 対 安 定 G 液 相 が 準 安 定 気 体 が 絶 対 安 定 Liquid ρ 急 減 圧 Gas Liquid 準 安 定 状 態 から 安 定 状 態 までの 脱 出 時 間 を 与 えるのが 古 典 核 生 成 論 ただし 気 相 液 相 以 外 の 相 転 移 では 予 言 能 力 が 低 い ΔG ρ なぜ 液 滴 生 成 はうまくいって 気 泡 生 成 はうまくいかないんだろう?
古 典 核 生 成 論 と 気 泡 生 成 仕 事 (2/2) 26/37 気 泡 生 成 仕 事 体 積 V 面 積 Aの 気 泡 を 作 る 仕 事 W 界 面 による 損 気 泡 が 液 体 にする 仕 事 平 衡 気 泡 分 布 関 数 化 学 ポテンシャル 差 による 得 平 衡 状 態 の 液 相 における 熱 励 起 された 気 泡 分 布 関 数 f 0 (v) exp( W ) 平 衡 状 態 の 液 相 では 常 に W>0 大 きな 気 泡 ができる 確 率 は 指 数 関 数 的 にレア 指 数 関 数 的 に 大 きな 系 待 ち 時 間 が 必 要 ( 事 実 上 不 可 能 ) 非 平 衡 状 態 から 気 泡 生 成 仕 事 を 推 定 する
Ostwald 成 長 (1/2) カットオフ 付 きLennard-Jones 粒 子 をたくさん 用 意 する( 数 億 粒 子 ほど) 液 相 に 平 衡 化 一 様 断 熱 膨 張 ( 一 辺 2.5% 程 度 ) 泡 がたくさん 出 る 27/37 大 きい 泡 がより 大 きく 小 さい 泡 がより 小 さくなる やがて 単 一 気 泡 へ 収 束 Movie 計 算 規 模 : 京 4096ノード * 24 時 間 * 10サンプル = 100 万 ノード 時 間
Ostwald 成 長 (2/2) 28/37 物 性 研 の 計 算 結 果 (2300 万 粒 子 ) 初 期 ステージ 中 間 ステージ 最 終 ステージ 多 重 核 生 成 気 泡 間 相 互 作 用 による つぶしあい 単 一 気 泡 へ 収 束 FX10の 計 算 結 果 (14 億 5 千 万 粒 子 ) 多 重 核 生 成 から 気 泡 間 相 互 作 用 フェーズへ
気 泡 生 成 仕 事 の 直 接 推 定 (1/3) 29/37 非 平 衡 気 泡 分 布 関 数 f(v, t) 時 刻 tにおいて 体 積 vを 持 つ 気 泡 数 @f @t = v(v, t) v >0 (v>v c ) @ @v ( vf) 発 展 方 程 式 時 刻 tにおいて 体 積 vを 持 つ 気 泡 の 成 長 率 ( 気 泡 生 成 仕 事 に 直 接 対 応 ) v c (t) 臨 界 核 サイズ 臨 界 核 より 大 きな 気 泡 は 成 長 v <0 (v<v c ) 臨 界 核 より 小 さな 気 泡 は 収 縮 気 泡 生 成 仕 事 がOstwald 成 長 を 支 配 する 気 泡 生 成 仕 事 を 直 接 推 定 する
気 泡 生 成 仕 事 の 直 接 推 定 (2/3) 30/37 スナップショットから 同 一 気 泡 を 推 定 体 積 変 化 を 直 接 追 う 時 間 発 展 比 較 二 次 の 中 心 差 分 でKinetic Termを 近 似 v(v, t) v i(t + t) v i (t t) 2 t
気 泡 生 成 仕 事 の 直 接 推 定 (3/3) 31/37 0.04 体 積 変 化 率 v/v c 0.03 0.02 0.01 収 縮 W>0 膨 張 W<0 v(v, t) =v 1/3 " v v c 1/3 1 # 0 予 想 される 関 数 形 とよく 一 致 -0.01 0 1 2 3 4 気 泡 体 積 v/v c 多 重 気 泡 生 成 過 程 における 気 泡 生 成 仕 事 の 直 接 推 定
研 究 成 果 のアウトリーチ (1/4) 32/37 京 4096ノード 10 億 粒 子 規 模 の 計 算 を 行 い 気 泡 生 成 のダイナミクスを 解 明 以 下 の 論 文 として 出 版 H. Watanabe, et al. J. Chem. Phys. 141 234703 (2014) 論 文 誌 J. Chem. Phys. の 出 版 元 であるAIPよりプレスリリース シャンパンの 泡 が 世 界 のエネルギー 危 機 を 救 う? How the Physics of Champagne and Soda Bubbles May Help Address the World's Future Energy Needs
研 究 成 果 のアウトリーチ (2/4) スミソニアン 博 物 館 のニュースサイト (メールによる 取 材 ) 33/37 ディスカバリーチャネルの ニュースサイト シャンパンの 泡 がエネルギーの 未 来 を 拓 く 泡 がエネルギー 問 題 を 解 決 する?
研 究 成 果 のアウトリーチ (3/4) シャンパン スパークリングワインの 通 販 サイト 34/37 いつだってシャンパンが 答 えだってことはわかってたことさ!
研 究 成 果 のアウトリーチ (4/4) 35/37 研 究 者 達 は この 研 究 のために 理 研 のスパコンを 使 って 4000 本 ものシャンパンボトルを 空 けたそうだ 次 にやるときは 俺 たちも 呼 んでくれよ な? 研 究 のアウトリーチってなんだろう?
現 象 とスケール 36/37 物 理 現 象 We are here Micro Macro 気 泡 生 成 必 要 粒 子 数 多 重 気 泡 生 成 気 泡 流 ( 相 転 移 と 流 動 のカップリング) Linear Scale 10 nm 100 nm 1 um
数 値 計 算 とはなんだろう? まとめ? 世 界 を 記 述 するルールが 全 て 既 知 とせよ その 上 で 何 が 起 きるか 調 べる という 方 法 論 研 究 者 は 世 界 の 構 成 ルールを 全 て 知 っている( 全 知 ) だが 自 由 に 制 御 できる( 全 能 )わけではない 37/37 非 平 衡 研 究 とはなんだろう? 非 平 衡 は なんでもあり の 世 界 いかに 条 件 を 限 定 するかが 勝 負 スパコンは 科 学 に 本 質 的 な 貢 献 をするだろうか? わかりません しかし 計 算 資 源 が 数 値 計 算 屋 の 想 像 力 の 上 限 を 決 めてしまうのは 事 実 大 事 なのは 変 な 目 的 意 識 をもたないこと