HIGIS 3/ﾌﾟﾚｾﾞﾝﾃｰｼｮﾝ資料/J_GrayA.ppt

Transcription

1 Flashの 採 用 はここまで 進 んでいる! Oracle DB 高 速 化 事 例 のご 紹 介 2015/4/9 株 式 会 社 日 立 製 作 所 情 報 通 信 システム 社 ITプラットフォーム 事 業 本 部

2 お 願 い スライド 内 容 の 撮 影 は 禁 止 となっております 甚 だ 恐 縮 ではございますが 写 真 撮 影 録 画 録 音 等 はご 遠 慮 いただけますようお 願 い 致 し ます お 見 かけした 場 合 にはスタッフよりお 声 掛 けさせて 頂 く ことがございますが 予 めご 承 知 おきください 1

3 Contents 1. なぜ いまDBにFlashが 必 要 なのか? 2. 事 例 のご 紹 介 3. 性 能 改 善 TIPS 4. FlashとHDDの 混 在 によるコスト 最 適 化 5. デモンストレーション 6. 最 後 に 2

4 Contents 1. なぜ いまDBにFlashが 必 要 なのか? 2. 事 例 のご 紹 介 3. 性 能 改 善 TIPS 4. FlashとHDDの 混 在 によるコスト 最 適 化 5. デモンストレーション 6. 最 後 に 3

5 1-1. データベースにとって 高 速 化 はもはや 必 然 データの 増 加 ビッグデータ 分 析 データベース 統 合 等 により データベース 処 理 への 要 求 は 急 激 に 増 加 夜 間 バッチが 突 き 抜 け そう 今 後 データが 増 えたら まずいぞ 通 常 業 務 だけでも 目 一 杯 なのに 分 析 もやれと 言 われた 耐 えられるのか? DB 担 当 者 チューニングしろと 言 われ ても どこにボトルネックが あるのか? なぜデータベースは 遅 くなるのか? 4

6 1-2. その 遅 さ I/O 速 度 が 原 因 では? 相 対 性 能 倍 12core core core 5 1 2core 4core HDD 回 転 数 2012 取 り 残 されたHDD 性 能 HDDにおいて 今 後 ドラスティックな 高 性 能 技 術 の 出 現 は 望 めない ストレージI/Oの 高 速 化 により システム 性 能 が 劇 的 に 向 上 する 可 能 性 2013 CPU 性 能 はSAP SDベンチ マークをベースにした 値 1 倍 5

7 1-3. 自 動 ワークロード リポジトリによる 待 機 イベント 把 握 銀 行 系 お 客 様 産 業 系 お 客 様 I/O 待 機 93% db file sequential read db file scattered read db file parallel read gc cr grant 2-way DB CPU I/O 待 機 81% db file sequential read log file parallel write log file sync enq: TX - row lock contention CPU time 信 販 系 お 客 様 産 業 系 お 客 様 db file sequential read db file scattered read db file parallel read I/O 待 機 39% db file sequential read db file parallel read read by other session I/O 待 機 86% read by other session CPU time SQL*Net more data to client DB CPU db file sequential read : 索 引 を 使 用 してディスクからブロックを 取 得 する 際 に 発 生 する 待 機 イベント db file scattered read : 表 をスキャンする 時 に 発 生 する 待 機 イベント ストレージへのランダムアクセス 待 ち 時 間 が 大 半 になっているケースが 多 い

8 1-4. FlashはランダムRead/Writeに 強 い DBアクセスの 大 半 がランダムREAD/WRITE Flashの 効 果 は 出 やすい ランダムWRITE (7D+1P, 8KB)のIOPS 相 対 比 較 SAS HDD 1 SSD HAF ランダムREAD (7D+1P, 8KB)のIOPS 相 対 比 較 SAS HDD 1 SSD HAF 61 HAF : Hitachi Accelerated Flash 大 容 量 高 速 アクセスを 特 徴 とした 日 立 自 製 のFlashドライブ 207 性 能 時 間 は 構 成 / 使 用 条 件 により 異 なる 場 合 があります HAFはHitachi Virtual Storage PlatformでFlash accelerationを 適 用 した 場 合 の 値 です 7

9 Contents 1. なぜ いまDBにFlashが 必 要 なのか? 2. 事 例 のご 紹 介 3. 性 能 改 善 TIPS 4. FlashとHDDの 混 在 によるコスト 最 適 化 5. デモンストレーション 6. 最 後 に 8

10 2-1. 実 証 実 験 でのFlash 化 の 効 果 お 客 様 と 実 施 したFlash 置 換 え 検 証 にて 抜 群 の 効 果 実 証 実 験 によるDB 高 速 化 ソリューションの 効 果 業 種 システム 業 務 内 容 性 能 比 製 造 業 ERP 生 産 管 理 バッチ 10 倍 金 融 業 BI 検 索 系 処 理 4~320 倍 金 融 業 財 務 処 理 業 務 処 理 最 大 20 倍 / 平 均 5.8 倍 通 信 業 分 析 DBロード 処 理 20 倍 流 通 業 商 品 管 理 データ 加 工 処 理 100~230 倍 業 務 により 異 なるが 劇 的 な 高 速 化 を 確 認 9

11 2-2. 顧 客 事 例 生 産 管 理 バッチ[ 導 入 効 果 ] 生 産 管 理 システム 夜 間 バッチ 高 速 化 SAP ERPで 購 買 生 産 管 理 を 実 施 しており 夜 間 バッチに 時 間 がかかり 過 ぎていた 事 業 所 統 合 や 海 外 部 門 の 統 合 を 控 え 夜 間 バッチ 突 き 抜 けの 懸 念 が 本 格 化 HDD Flash(HAF) 39% 18% 22:00 23:00 24:00 1:00 2:00 3:00 4:00 22% 36% 22:00 23:00 24:00 1:00 2:00 3:00 4:00 夜 間 バッチが 大 幅 に 短 縮 され 従 来 の 半 分 程 度 の 時 間 で 終 了 特 に3 時 間 半 以 上 の 長 いデータ 連 携 処 理 バッチが18%の36 分 に 10

12 2-2. 顧 客 事 例 生 産 管 理 バッチ[ 導 入 効 果 ] 続 き 産 業 系 お 客 様 夜 間 バッチ 高 速 化 ERPサーバA ERPサーバB I/O 待 ち 月 CPU 使 用 率 切 り 替 え 切 り 替 え Flash 切 り 替 え 後 I/O 待 ち 時 間 が 大 幅 に 削 減 されている 11

13 Contents 1. なぜ いまDBにFlashが 必 要 なのか? 2. 事 例 のご 紹 介 3. 性 能 改 善 TIPS 4. FlashとHDDの 混 在 によるコスト 最 適 化 5. デモンストレーション 6. 最 後 に 12

14 3-1. TIPS1: FLASHの 高 速 性 を 効 果 的 に 活 用 しよう インフラ 系 お 客 様 の 実 証 検 証 にて Flash 化 によりオンライン 処 理 が 大 幅 に 高 速 化 BI 処 理 を 同 時 に 実 行 すると レスポンスが3 倍 に 劣 化 なぜ?? - CPUはI/O 待 ちが 高 割 合 - Flashは1ms 以 下 で 応 答 (ストレージ 内 統 計 ) P サーバ P 答 えはI/O 帯 域 - オンラインは 多 重 度 (IOPS)が 重 要 - 分 析 処 理 は 帯 域 を 使 う 検 証 環 境 が8Gbps 2 本 だったため 分 析 処 理 が 少 ない 帯 域 を 使 い 果 たしてしまった TIPS1:Flash 化 したらI/Oの 通 り 道 に 気 を 付 けよう P P P P P P P P コントローラ ストレージ 日 立 はI/O 経 路 全 体 を 考 慮 したFlash 構 成 をご 提 案 可 能 です RAID 構 成 コントローラ 13

15 3-2. TIPS2 非 定 型 分 析 ではIn-Memoryを 活 用 分 析 業 務 は 定 型 分 析 から 非 定 型 分 析 へ 広 がっている 非 定 型 分 析 : 予 めどんなSQLが 入 ってくるか 分 からない 処 理 ビッグデータに 代 表 されるデータ 利 活 用 のニーズを 受 けて 増 加 非 定 型 分 析 の 課 題 分 析 対 象 が 分 からないため 列 に 索 引 を 付 けられない 索 引 がない 列 にアクセスすると 原 則 全 表 スキャン になる 大 量 I/O 発 生 Flashでも 負 荷 が 大 きい このような 課 題 を 解 決 するソリューション Oracle Database 12c In-Memory メモリ 上 に 列 格 納 データを 展 開 し 分 析 SQLを 高 速 に 処 理 する 14

16 3-3. Oracle Database 12c In-Memoryの 実 力 In-Memoryの 非 定 型 分 析 処 理 の 実 力 非 定 型 分 析 処 理 ( 索 引 なし)で 効 果 を 発 揮 非 定 型 分 析 SQLの 検 証 結 果 検 証 構 成 サーバ:BladeSymphony BS2000 CPU:Xeon E5-2690v2 x2 10コア/20スレッド Memory:256GB (In-Memory 時 はDBを 全 て 格 納 ) ストレージ:Hitachi Unified Storage VM(HUS VM) HDD:RAID6(6D+2P) 7.2Krpm HDD In-Memory 約 22 倍 高 速 データ 利 活 用 で 求 められる 処 理 データ 追 加 や 削 除 (バッチ 処 理 ) 名 寄 せ(アップデート) 通 常 のデータ 参 照 レポート 出 力 大 量 データのメモリ 読 込 み 非 定 型 検 索 以 外 のこれらの 処 理 も 高 速 化 が 必 要 15

17 3-4. Flash&In-Memoryの 強 み In-Memoryのアーキテクチャ(ローとカラムのデュアルフォーマット) Flashで 高 速 化 行 方 向 の 処 理 オンライン 処 理 定 型 分 析 処 理 バッチ 処 理 Oracle DBのメモリ 空 間 同 期 In-Memoryで 高 速 化 列 方 向 の 処 理 非 定 型 分 析 処 理 行 (ロー)フォーマット ( 従 来 のDBバッファキャッシュ) 列 (カラムナ)フォーマット (インメモリ カラムストア) ストレージ FlashとIn-Memoryの 組 み 合 わせにより データ 利 活 用 に 関 わる 多 くの 処 理 を 高 速 化 可 能 16

18 Contents 1. なぜ いまDBにFlashが 必 要 なのか? 2. 事 例 のご 紹 介 3. 性 能 改 善 TIPS 4. FlashとHDDの 混 在 によるコスト 最 適 化 5. デモンストレーション 6. 最 後 に 17

19 4-1. コストパフォーマンスに 優 れるハイブリッド 構 成 企 業 システムは 履 歴 を 扱 うため アクセスは 最 近 のデータに 集 中 アクセス 頻 度 の 高 いデータだけをFlashへ その 他 をHDDに 配 置 できればコストパフォーマンスが 良 くなる ストレージの 機 能 にてアクティブなデータは 自 動 的 にFlashへ それ 以 外 をHDDへ HDT: Hitachi Dynamic Tiering ストレージプール 性 能 /コスト 性 能 格 納 先 メディア 例 Tier1 (フラッシュ ドライブ) Tier2 (SAS) 高 速 小 容 量 Tier3 (NLSAS) 低 速 大 容 量 ストレージにおまかせ データのアクセス 頻 度 を モニタリングし アクセス 頻 度 に 合 わせてストレージがデータを 自 動 的 に 最 適 配 置 最 適 なFlash 搭 載 比 率 コスト コストパフォーマンス Flash 比 率 HDT 使 用 時 のコストパフォーマンス 18

20 4-2. HDTによるコストパフォーマンス 最 適 化 検 証 結 果 OracleDBとHDTの 組 み 合 わせでコストパフォーマンスの 高 いDBへ トランザクション 処 理 数 / 分 検 証 構 成 サーバ:BladeSymphony BS2000 CPU:Xeon E5690 x2 12コア/24スレッド Memory:96GB ストレージ:Hitachi Unified Storage 130(HUS 130) HDD:RAID5(4D+1P) 4 15Krpm Flash:SSD RAID5(6D+1P) 4 アプリケーション 物 流 倉 庫 を 模 したオンラインベンチマーク HDD:700G SSD: - HDD HDD: 525GB SSD: 175GB HDT HDD: - SSD: 700GB Flash ALL-HDD HDT(25%) ALL-SSD (SSD:0%) (SSD:25%) (SSD:100%) アクセス 頻 度 の 高 い 部 分 にのみFlashを 効 果 的 に 割 当 25%のSSDで 100%SSDとほぼ 同 等 のパフォーマンス 19

21 4-3. 必 要 な 時 にFlashを 追 加 しよう HDTを 有 効 にしておけば 最 初 はHDDだけで 開 始 してもアクセス 頻 度 を 監 視 します 必 要 な 時 にFlashを 追 加 すれば Before パフォーマンス 良 好 Now パフォーマンス 劣 化 Future パフォーマンス 向 上 Flashを 追 加 HDDのみのHDTで 導 入 アクセス 頻 度 管 理 され ている 業 務 を 追 加 全 体 の20%に アクセス 急 増 管 理 情 報 を 用 いて 高 アクセス 部 分 を Flashに 移 動 HDDで 開 始 しても 必 要 に 応 じてFlashを 追 加 可 能 高 アクセス 頻 度 部 分 を 業 務 無 停 止 で 移 動 でき 性 能 向 上 可 能 投 資 コストのさらなる 最 適 化 が 実 現 します OSやOracleの 操 作 は 一 切 不 要 デモにて 確 認 頂 けます 20

22 Contents 1. なぜ いまDBにFlashが 必 要 なのか? 2. 事 例 のご 紹 介 3. 性 能 改 善 TIPS 4. FlashとHDDの 混 在 によるコスト 最 適 化 5. デモンストレーション 6. 最 後 に 21

23 5-1. デモンストレーション 概 要 性 能 比 較 とFlash 追 加 の 観 点 の 二 つのデモンストレーション DEMO1. Flashの 性 能 とHDDの 限 界 DEMO2. これからのFlashはこう 使 おう 性 能 比 較 オンライン 処 理 が 増 大 していくDB 簡 単 追 加 DB 無 停 止 でHDDからHybrid 構 成 に 仮 想 LU HDD Flash HDD Flashはそれぞれどのような 挙 動 になるのか? HDD Hybrid(Flash+HDD) 後 からでもFlashを 簡 単 に 追 加 できるシステムとは 22

24 5-2.DEMO1 性 能 比 較 オンライン 処 理 が 増 大 するDB 増 え 続 ける 処 理 をHDDとFlashのDBで 測 定 ディスク 以 外 の 条 件 は 同 じ 物 流 倉 庫 を 模 したオンラインベンチマークDB(320GB) ReadとWriteがバランスよく 実 行 される ユーザが 増 え トランザクション 投 入 量 が 増 加 していくと SELECT INSERT INSERT INSERT SELECT INSERT HDD Flash 23

25 5-3.DEMO1 性 能 比 較 オンライン 処 理 が 増 大 するDB 秒 間 トランザクション 処 理 数 と 投 入 量 の 推 移 TPS: Transaction Per Second 単 位 時 間 当 たりの 実 行 トランザクション 数 24

26 5-3.DEMO1 性 能 比 較 オンライン 処 理 が 増 大 するDB 秒 間 トランザクション 処 理 数 と 投 入 量 の 推 移 2500 TPS: Transaction Per Second 単 位 時 間 当 たりの 実 行 トランザクション 数 25

27 5-3.DEMO1 性 能 比 較 オンライン 処 理 が 増 大 するDB [tps] Transaction/s [tps] Transaction/s 頭 打 ち Transaction 投 入 量 に 実 行 数 が 追 従 [ms] TPS 480 Response Transaction Response 投 入 量 [Time] 3400ms TPS 4400 Response [ms] Transaction Response 投 入 量 [Time] 100ms Transaction 投 入 量 急 増 Transaction 投 入 量 急 増 HDD 環 境 [Time] HDDでは 実 行 トランザクション 数 が 頭 打 ち TPS: Transaction Per Second 単 位 時 間 当 たりの 実 行 トランザクション 数 Flash 環 境 [Time] Flashでは 投 入 量 に 実 行 数 が 追 従 26

28 5-3.DEMO1 性 能 比 較 オンライン 処 理 が 増 大 するDB 秒 間 トランザクション 処 理 数 とレスポンス(トランザクション)の 推 移 TPS: Transaction Per Second 単 位 時 間 当 たりの 実 行 トランザクション 数 27

29 5-3.DEMO1 性 能 比 較 オンライン 処 理 が 増 大 するDB Transaction 投 入 量 急 増 Transaction 投 入 量 急 増 安 定 したレスポンス 増 大 するI/O 負 荷 に 耐 えられない 処 理 量 の 増 大 に 負 けない 安 定 したレスポンス TPS: Transaction Per Second 単 位 時 間 当 たりの 実 行 トランザクション 数 28

30 5-4.DEMO2 簡 単 追 加 DB 無 停 止 でHDDからHybrid 構 成 に オンライン 処 理 をしながら 必 要 なデータだけがFlash 領 域 に 自 動 移 動 物 流 倉 庫 を 模 したオンラインベンチマークDB(320GB) 処 理 開 始 時 はHDDのみ 搭 載 処 理 途 中 でFlashを 追 加 処 理 途 中 でFlash 領 域 を 追 加 INSERT SELECT DB Tier1 Flash HDT Tier2 HDD 29

31 5-5.DEMO2 簡 単 追 加 DB 無 停 止 でHDDからHybrid 構 成 に HDDのみで 稼 働 DEMO2はトランザクション 量 はテストを 通 じて 一 定 (HDDでは 頭 打 ち SSDではまだ 余 裕 あり) 30

32 5-5.DEMO2 簡 単 追 加 DB 無 停 止 でHDDからHybrid 構 成 に DEMO2はトランザクション 量 はテストを 通 じて 一 定 (HDDでは 頭 打 ち SSDではまだ 余 裕 あり) 31

33 5-5.DEMO2 簡 単 追 加 DB 無 停 止 でHDDからHybrid 構 成 に [tps] [ms] 3000 Flashのスピードで 安 定 DEMO2はトランザクション 量 はテストを 通 じて 一 定 (HDDでは 頭 打 ち SSDではまだ 余 裕 あり) HDD Hybrid(HDD+Flash) オンライン 処 理 を 継 続 したまま Flashの 性 能 に 変 更 可 能 32

34 5-6.まとめ Flashの 性 能 は 業 務 を 変 える 採 用 事 例 も 急 激 に 増 えている これからのFlashの 使 い 方 は 仮 想 化 階 層 化 による 簡 単 高 速 化 ビッグデータ クラウド 時 代 の 要 求 に 最 適 なDB インフラの 採 用 を 変 化 への 迅 速 な 対 応 24h 365Day 最 適 な コストパフォーマンス 33

35 Contents 1. なぜ いまDBにFlashが 必 要 なのか? 2. 事 例 のご 紹 介 3. OracleDBにおけるHRTの 検 証 結 果 4. パフォーマンスだけでよいのか? 5. デモンストレーション 6. 最 後 に 34

36 6-1. アセスメントサービスのご 紹 介 Oracle DBがI/Oネックで 遅 い 場 合 Flash 導 入 で 大 きな 効 果 でも I/Oネックか どうかわからない 日 立 ならOracleからストレージまで DBシステムの 課 題 を 見 える 化 できます 貴 社 のOracleをI/Oの 観 点 で 診 断 Flash 導 入 効 果 を 予 測 します! 自 社 のシステム での 効 果 はどれくらい だろうか OS Oracle Storage OracleシステムへのFlashの 導 入 効 果 を 推 定 Oracle on Flash アセスメントサービス FLASH 性 能 を 最 大 化 セットモデル 短 期 間 コスト 重 視 ストレージのみ 交 換 ベストなFlash 構 成 決 定 のお 手 伝 い 検 証 支 援 サービス 設 計 コンサルティングサービス 性 能 追 求 モデル かんたん 高 速 モデル 内 蔵 Flashモデル FLASH 搭 載 ストレージ 35

37 6-2. Flashの 効 果 を 診 断 してみませんか? Oracle on Flash アセスメントサービス HDD/Flash 比 較 サマリー 1.HDD 構 成 ではディスクI/O 系 の 待 機 イベントがDB 全 体 の93%を 占 めており I/Oがボトルネックに なっています Flash 化 によりディスクI/O 系 の 待 機 イベントは30%まで 減 少 し I/Oボトルネックは 減 少 しています 2.I/O 系 待 機 イベントのレスポンスではHDD 構 成 の 場 合 キャッシュミスによる32ms 以 上 かかるI/Oが 30% 程 度 あり HDDがボトルネックになっています Flash 化 によりキャッシュミス 時 のI/Oも4ms 以 下 がほとんどになっています 1.DB 待 機 イベント 割 合 2.DB 待 機 イベントのレスポンス 4% 1% 1.4% db file sequential read 4% 1.4% 1% 3.5% 3.5% 3% 単 一 ブロック 読 込 7% 0.2% 13% db file sequential read 0.2% 5.9% db file sequential scattered read read 100% 5.9% db file 単 scattered 一 ブロック read 読 込 単 一 ブロック 読 込 DB 連 CPU 続 した 複 数 ブロック 読 込 HDD (db file scattered read) 7% DB CPU 連 続 した 複 数 ブロック 読 込 DB CPU CPU 演 算 17.2% 24% CPU DB CPU DB DB 演 CPU 算 80% HDD (db file sequential read) 12% 17.2% CPU 演 算 CPU 演 算 Flash (db file scattered read) 12% db file scattered read CPU 演 算 db CPU 演 算 連 続 した 複 数 ブロック 読 read 込 60% Flash (db file sequential read) 14% db file file scattered scattered read read db file scattered read gc cr 連 multi 続 した block 複 数 request ブロック 59.1% 読 連 gc 続 cr した した multi 複 block 数 ブロック ブロック request 読 読 込 クラスタによる 込 待 機 gc 込 cr multi block request 59.1% クラスタによる gc cr block request 待 機 40% gc cr multi block request 93.2% db file 30.4% クラスタによる gc cr multi 待 block 機 request 76% クラスタによる sequential read 待 機 gc クラスタによる cr multi block 待 機 request 単 一 ブロック 93.2% 読 込 76% 46% クラスタによる db file sequential 待 機 read Others 30.4% クラスタによる 20% Oracle 統 Others 計 から Others 単 一 効 ブロック 読 込 果 ありと 予 測! Others Others 0% <1ms <2ms <4ms <8ms <16ms<32ms <=1s >1s HDD 構 成 待 機 時 間 (sec) Flash 構 成 HDD HDD Flash Flash 導 導 入 時 の 効 果 推 定 約 9 倍 程 度 の 処 理 性 能 向 上 Flash Flash 待 機 時 間 Others Others gc cr db multi file sequential block request read クラスタによる 単 一 ブロック 読 待 込 機 db file gc cr scattered multi block read request 連 続 クラスタによる した 複 数 ブロック 待 機 読 込 db file scattered read DB CPU 連 続 した 複 数 ブロック 読 込 CPU 演 算 DB CPU db file CPU 演 sequential 算 read 単 一 ブロック 読 込 Flash 化 により DB 以 下 レイヤーの 処 理 性 能 は 約 9 倍 程 度 になると 推 測 されます Oracleの 統 計 レポート(AWR)を 分 析 しFlash 導 入 効 果 を 推 定 36

38 6-3. 日 立 とオラクル 様 のアライアンス 日 立 はオラクル 様 と 最 上 位 のパートナ 関 係 グローバルで9 社 国 内 は 日 立 含 め2 社! 日 立 はオラクル 様 とのアライアンスをより 強 固 にし お 客 様 に 最 高 のパフォーマンスを 提 供 していきます 37

39 他 社 商 品 名 商 標 等 の 引 用 に 関 する 表 示 ご 清 聴 ありがとうございました HITACHIは ( 株 ) 日 立 製 作 所 の 登 録 商 標 です OracleとJavaは,Oracle Corporation 及 びその 子 会 社, 関 連 会 社 の 米 国 及 びその 他 の 国 における 登 録 商 標 です Intel Xeonは,アメリカ 合 衆 国 およびその 他 の 国 におけるIntel Corporationの 商 標 です SAP,および 本 文 書 に 記 載 されたその 他 の SAP 製 品,サービス,ならびにそれぞれのロゴは,ドイツおよび その 他 の 国 々における SAP AG の 商 標 または 登 録 商 標 です その 他 記 載 の 会 社 名 製 品 名 は それぞれの 会 社 の 商 標 または 登 録 商 標 です 製 品 の 改 良 により 予 告 なく 記 載 されている 仕 様 が 変 更 になることがあります 38

40 END Flashの 採 用 はここまで 進 んでいる! Oracle DB 高 速 化 事 例 のご 紹 介 2015/4/9 株 式 会 社 日 立 製 作 所 情 報 通 信 システム 社 ITプラットフォーム 事 業 本 部 39

41

42