2 今 回 の 内 容 スケーラビリティや 可 用 性, 伸 縮 性 のための クラウドサービスにおける 設 計 思 想 について, Amazon Web Servicesの 実 例 を 通 して 学 ぶ



Similar documents
Microsoft PowerPoint - CloudBasic-5-cloudservices1.pptx

<4D F736F F D AC90D1955D92E CC82CC895E DD8C D2816A2E646F63>



<4D F736F F D2091E F18CB48D C481698E7B90DD8F9590AC89DB816A2E646F63>

損 益 計 算 書 自. 平 成 26 年 4 月 1 日 至. 平 成 27 年 3 月 31 日 科 目 内 訳 金 額 千 円 千 円 営 業 収 益 6,167,402 委 託 者 報 酬 4,328,295 運 用 受 託 報 酬 1,839,106 営 業 費 用 3,911,389 一

(1)1オールゼロ 記 録 ケース 厚 生 年 金 期 間 A B 及 びCに 係 る 旧 厚 生 年 金 保 険 法 の 老 齢 年 金 ( 以 下 旧 厚 老 という )の 受 給 者 に 時 効 特 例 法 施 行 後 厚 生 年 金 期 間 Dが 判 明 した Bは 事 業 所 記 号 が

<6D313588EF8FE991E58A778D9191E5834B C8EAE DC58F4992F18F6F816A F990B32E786C73>

検 討 検 討 の 進 め 方 検 討 状 況 簡 易 収 支 の 世 帯 からサンプリング 世 帯 名 作 成 事 務 の 廃 止 4 5 必 要 な 世 帯 数 の 確 保 が 可 能 か 簡 易 収 支 を 実 施 している 民 間 事 業 者 との 連 絡 等 に 伴 う 事 務 の 複 雑

2 役 員 の 報 酬 等 の 支 給 状 況 平 成 27 年 度 年 間 報 酬 等 の 総 額 就 任 退 任 の 状 況 役 名 報 酬 ( 給 与 ) 賞 与 その 他 ( 内 容 ) 就 任 退 任 2,142 ( 地 域 手 当 ) 17,205 11,580 3,311 4 月 1

( 別 途 調 査 様 式 1) 減 損 損 失 を 認 識 するに 至 った 経 緯 等 1 列 2 列 3 列 4 列 5 列 6 列 7 列 8 列 9 列 10 列 11 列 12 列 13 列 14 列 15 列 16 列 17 列 18 列 19 列 20 列 21 列 22 列 固 定

平成24年度 業務概況書

第316回取締役会議案

通 知 カード と 個 人 番 号 カード の 違 い 2 通 知 カード ( 紙 )/H27.10 個 人 番 号 カード (ICカード)/H28.1 様 式 (おもて) (うら) 作 成 交 付 主 な 記 載 事 項 全 国 ( 外 国 人 含 む)に 郵 送 で 配 布 希 望 者 に 交

国 税 クレジットカード 納 付 の 創 設 国 税 のクレジットカード 納 付 については マイナンバー 制 度 の 活 用 による 年 金 保 険 料 税 に 係 る 利 便 性 向 上 に 関 するアクションプログラム( 報 告 書 ) においてその 導 入 の 方 向 性 が 示 されている

( 別 紙 ) 以 下 法 とあるのは 改 正 法 第 5 条 の 規 定 による 改 正 後 の 健 康 保 険 法 を 指 す ( 施 行 期 日 は 平 成 28 年 4 月 1 日 ) 1. 標 準 報 酬 月 額 の 等 級 区 分 の 追 加 について 問 1 法 改 正 により 追 加

< 現 在 の 我 が 国 D&O 保 険 の 基 本 的 な 設 計 (イメージ)> < 一 般 的 な 補 償 の 範 囲 の 概 要 > 請 求 の 形 態 会 社 の 役 員 会 社 による 請 求 に 対 する 損 免 責 事 由 の 場 合 に 害 賠 償 請 求 は 補 償 されず(

弁護士報酬規定(抜粋)

は 固 定 流 動 及 び 繰 延 に 区 分 することとし 減 価 償 却 を 行 うべき 固 定 の 取 得 又 は 改 良 に 充 てるための 補 助 金 等 の 交 付 を 受 けた 場 合 にお いては その 交 付 を 受 けた 金 額 に 相 当 する 額 を 長 期 前 受 金 とし

IAF ID x:2010 International Accreditation Forum, Inc. Page 2 of 8 国 際 認 定 機 関 フォーラム(IAF)は 適 合 性 評 価 サービスを 提 供 する 機 関 の 認 定 のためのプログラ ムを 運 営 している この 認 定

Microsoft PowerPoint - 報告書(概要).ppt

<4D F736F F D208ED089EF95DB8CAF89C193FC8FF38BB CC8EC091D492B28DB88C8B89CA82C982C282A282C42E646F63>

. 負 担 調 整 措 置 8 (1) 宅 地 等 調 整 固 定 資 産 税 額 宅 地 に 係 る 固 定 資 産 税 額 は 当 該 年 度 分 の 固 定 資 産 税 額 が 前 年 度 課 税 標 準 額 又 は 比 準 課 税 標 準 額 に 当 該 年 度 分 の 価 格 ( 住 宅

平成19年9月改定

連結計算書

< DB8CAF97BF97A6955C2E786C73>

Ⅰ 調 査 の 概 要 1 目 的 義 務 教 育 の 機 会 均 等 その 水 準 の 維 持 向 上 の 観 点 から 的 な 児 童 生 徒 の 学 力 や 学 習 状 況 を 把 握 分 析 し 教 育 施 策 の 成 果 課 題 を 検 証 し その 改 善 を 図 るもに 学 校 におけ

<819A955D89BF92B28F BC690ED97AA8EBA81418FA48BC682CC8A8890AB89BB816A32322E786C7378>

一般競争入札について

送 信 局 を 電 気 通 信 事 業 者 に 貸 し 付 けるとともに 電 気 通 信 事 業 者 とあらかじめ 契 約 等 を 締 結 する 必 要 があること なお 既 に 電 気 通 信 事 業 者 において 送 信 局 を 整 備 している 地 域 においては 当 該 設 備 の 整 備

私立大学等研究設備整備費等補助金(私立大学等

H28記入説明書(納付金・調整金)8


リング 不 能 な 将 来 減 算 一 時 差 異 に 係 る 繰 延 税 金 資 産 について 回 収 可 能 性 がないも のとする 原 則 的 な 取 扱 いに 対 して スケジューリング 不 能 な 将 来 減 算 一 時 差 異 を 回 収 できることを 反 証 できる 場 合 に 原 則

<4D F736F F D208E52979C8CA78E598BC68F5790CF91A390698F9590AC8BE08CF D6A2E646F6378>

スライド 1

損 益 計 算 書 ( 自 平 成 25 年 4 月 1 日 至 平 成 26 年 3 月 31 日 ) ( 単 位 : 百 万 円 ) 科 目 金 額 営 業 収 益 75,917 取 引 参 加 料 金 39,032 上 場 関 係 収 入 11,772 情 報 関 係 収 入 13,352 そ


第2回 制度設計専門会合 事務局提出資料

PowerPoint プレゼンテーション


預 金 を 確 保 しつつ 資 金 調 達 手 段 も 確 保 する 収 益 性 を 示 す 指 標 として 営 業 利 益 率 を 採 用 し 営 業 利 益 率 の 目 安 となる 数 値 を 公 表 する 株 主 の 皆 様 への 還 元 については 持 続 的 な 成 長 による 配 当 可

(2) 共 通 費 について 第 2 編 共 通 費 2 12 共 通 費 算 定 に 関 する 数 値 の 取 り 扱 い (1) 積 み 上 げによる 算 定 積 み 上 げによる 算 定 は 第 3 編 18に 準 ずる (2) 率 による 算 定 公 共 建 築 工 事 共 通 費 積 算

<4D F736F F D2095CA8E A90DA91B18C9F93A289F1939A8F D8288B3816A5F E646F63>

平成25年度 独立行政法人日本学生支援機構の役職員の報酬・給与等について

< F2D8AC493C CC81698EF3928D8ED2816A2E6A7464>

Microsoft Word )40期決算公開用.doc

募集新株予約権(有償ストック・オプション)の発行に関するお知らせ

損 益 計 算 書 ( 平 成 25 年 10 月 1 日 から 平 成 26 年 9 月 30 日 まで) ( 単 位 : 千 円 ) 科 目 金 額 営 業 収 益 304,971 営 業 費 用 566,243 営 業 総 損 失 261,271 営 業 外 収 益 受 取 利 息 3,545

4 参 加 資 格 要 件 本 提 案 への 参 加 予 定 者 は 以 下 の 条 件 を 全 て 満 たすこと 1 地 方 自 治 法 施 行 令 ( 昭 和 22 年 政 令 第 16 号 ) 第 167 条 の4 第 1 項 各 号 の 規 定 に 該 当 しない 者 であること 2 会 社

●電力自由化推進法案

Microsoft Word - 佐野市生活排水処理構想(案).doc

大田市固定資産台帳整備業務(プロポーザル審査要項)

第 3 四 半 期 運 用 状 況 の 概 要 第 3 四 半 期 末 の 運 用 資 産 額 は 2,976 億 円 となりました 第 3 四 半 期 の 修 正 総 合 収 益 率 ( 期 間 率 )は +1.79%となりました なお 実 現 収 益 率 は +0.67%です 第 3 四 半 期

第4回税制調査会 総4-1

個 人 所 得 課 税 ~ 住 宅 ローン 控 除 等 の 適 用 期 限 の 延 長 2 4. 既 存 住 宅 に 係 る 特 定 の 改 修 工 事 をした 場 合 の 所 得 税 額 の 特 別 控 除 居 住 年 省 エネ 改 修 工 事 控 除 限 度 額 バリアフリー 改 修 工 事 平

連 結 株 主 資 本 等 変 動 計 算 書 (2015 年 6 月 1 日 から2016 年 5 月 31 日 まで) 株 主 資 本 ( 単 位 : 千 円 ) 資 本 金 資 本 剰 余 金 利 益 剰 余 金 自 己 株 式 株 主 資 本 合 計 当 期 首 残 高 2,049,318

する ( 評 定 の 時 期 ) 第 条 成 績 評 定 の 時 期 は 第 3 次 評 定 者 にあっては 完 成 検 査 及 び 部 分 引 渡 しに 伴 う 検 査 の 時 とし 第 次 評 定 者 及 び 第 次 評 定 者 にあっては 工 事 の 完 成 の 時 とする ( 成 績 評 定

Taro13-01_表紙目次.jtd

5 民 間 事 業 者 における 取 扱 いについて( 概 要 資 料 P.17~19) 6 法 人 番 号 について( 概 要 資 料 P.4) (3) 社 会 保 障 税 番 号 制 度 のスケジュールについて( 概 要 資 料 P.20) 1 平 成 27 年 10 月 から( 施 行 日 は

< F2D D D837C815B B8EC08E7B97768D80>

公 的 年 金 制 度 について 制 度 の 持 続 可 能 性 を 高 め 将 来 の 世 代 の 給 付 水 準 の 確 保 等 を 図 るため 持 続 可 能 な 社 会 保 障 制 度 の 確 立 を 図 るための 改 革 の 推 進 に 関 する 法 律 に 基 づく 社 会 経 済 情

注 記 事 項 (1) 当 四 半 期 連 結 累 計 期 間 における 重 要 な 子 会 社 の 異 動 : 無 (2) 四 半 期 連 結 財 務 諸 表 の 作 成 に 特 有 の 会 計 処 理 の 適 用 : 有 ( 注 ) 詳 細 は 添 付 資 料 4ページ 2.サマリー 情 報 (

<4D F736F F D D3188C091538AC7979D8B4B92F F292B98CF092CA81698A94816A2E646F63>

(Microsoft Word - \212\356\226{\225\373\220j _\217C\220\263\201j.doc)

Microsoft Word - 不正アクセス行為の禁止等に関する法律等に基づく公安

<4D F736F F D F5A91EE8BC F368C8E3393FA8DC48D F C8E323893FA916493C B95AA8D CE3816A>

1_2013BS(0414)

<4D F736F F D208C6F D F815B90A BC914F82CC91CE899E8FF38BB582C982C282A282C42E646F63>

別 紙 第 号 高 知 県 立 学 校 授 業 料 等 徴 収 条 例 の 一 部 を 改 正 する 条 例 議 案 高 知 県 立 学 校 授 業 料 等 徴 収 条 例 の 一 部 を 改 正 する 条 例 を 次 のように 定 める 平 成 26 年 2 月 日 提 出 高 知 県 知 事 尾

高松市緊急輸送道路沿道建築物耐震改修等事業補助金交付要綱(案)

スライド 1

文化政策情報システムの運用等

Taro-役員退職手当規程(H27.10改正)HP版

平成22年度

(1) 貸 借 対 照 表 ( 平 成 26 年 11 月 30 日 現 在 ) ( 単 位 : 千 円 ) 資 産 の 部 負 債 の 部 科 目 金 額 科 目 金 額 流 動 資 産 4,623,985 流 動 負 債 3,859,994 現 金 及 び 預 金 31,763 支 払 手 形

[2] 控 除 限 度 額 繰 越 欠 損 金 を 有 する 法 人 において 欠 損 金 発 生 事 業 年 度 の 翌 事 業 年 度 以 後 の 欠 損 金 の 繰 越 控 除 にあ たっては 平 成 27 年 度 税 制 改 正 により 次 ページ 以 降 で 解 説 する の 特 例 (

< F2D A C5817A C495B6817A>

定 性 的 情 報 財 務 諸 表 等 1. 連 結 経 営 成 績 に 関 する 定 性 的 情 報 当 第 3 四 半 期 連 結 累 計 期 間 の 業 績 は 売 上 高 につきましては 前 年 同 四 半 期 累 計 期 間 比 15.1% 減 少 の 454 億 27 百 万 円 となり

Taro-沖縄県物品電子調達運用基準

6-1 第 6 章 ストック オプション 会 計 設 例 1 基 本 的 処 理 Check! 1. 費 用 の 計 上 ( 1 年 度 ) 2. 費 用 の 計 上 ( 2 年 度 )- 権 利 不 確 定 による 失 効 見 積 数 の 変 動 - 3. 費 用 の 計 上 ( 3 年 度 )-

<4D F736F F F696E74202D2082C882E982D982C DD8ED88EE688F882CC82B582AD82DD C668DDA9770>

小 売 電 気 の 登 録 数 の 推 移 昨 年 8 月 の 前 登 録 申 請 の 受 付 開 始 以 降 小 売 電 気 の 登 録 申 請 は 着 実 に 増 加 しており これまでに310 件 を 登 録 (6 月 30 日 時 点 ) 本 年 4 月 の 全 面 自 由 化 以 降 申

<4D F736F F D E718CF68D C768E5A8F9197DE>

4. その 他 (1) 期 中 における 重 要 な 子 会 社 の 異 動 ( 連 結 範 囲 の 変 更 を 伴 う 特 定 子 会 社 の 異 動 ) 無 (2) 簡 便 な 会 計 処 理 及 び 四 半 期 連 結 財 務 諸 表 の 作 成 に 特 有 の 会 計 処 理 の 適 用 有

入札公告 機動装備センター

3. 選 任 固 定 資 産 評 価 員 は 固 定 資 産 の 評 価 に 関 する 知 識 及 び 経 験 を 有 する 者 のうちから 市 町 村 長 が 当 該 市 町 村 の 議 会 の 同 意 を 得 て 選 任 する 二 以 上 の 市 町 村 の 長 は 当 該 市 町 村 の 議

しかし 主 に 欧 州 の 一 部 の 回 答 者 は 受 託 責 任 について 資 源 配 分 の 意 思 決 定 の 有 用 性 とは 独 立 の 財 務 報 告 の 目 的 とすべきであると 回 答 した 本 ED に 対 する ASBJ のコメント レターにおける 意 見 経 営 者 の 受

1. 決 算 の 概 要 法 人 全 体 として 2,459 億 円 の 当 期 総 利 益 を 計 上 し 末 をもって 繰 越 欠 損 金 を 解 消 しています ( : 当 期 総 利 益 2,092 億 円 ) 中 期 計 画 における 収 支 改 善 項 目 に 関 して ( : 繰 越

東近江行政組合職員の育児休業等に関する条例

養 老 保 険 の 減 額 払 済 保 険 への 変 更 1. 設 例 会 社 が 役 員 を 被 保 険 者 とし 死 亡 保 険 金 及 び 満 期 保 険 金 のいずれも 会 社 を 受 取 人 とする 養 老 保 険 に 加 入 してい る 場 合 を 解 説 します 資 金 繰 りの 都

<4D F736F F D F4390B3816A91E6398D A948EE58E91967B939995CF93AE8C768E5A8F9182C98AD682B782E989EF8C768AEE8F8082CC934B97708E77906A81762E646F63>

説 明 内 容 料 金 の 算 定 期 間 と 請 求 の 単 位 について 分 散 検 針 制 日 程 等 別 料 金 料 金 の 算 定 期 間 と 支 払 義 務 発 生 日 日 程 等 別 料 金 の 請 求 スケジュール 料 金 のお 支 払 い 方 法 その 他 各 種 料 金 支 払

スライド 1

4. その 他 (1) 期 中 における 重 要 な 子 会 社 の 異 動 ( 連 結 範 囲 の 変 更 を 伴 う 特 定 子 会 社 の 異 動 ) 無 新 規 社 ( 社 名 ) 除 外 社 ( 社 名 ) (2) 簡 便 な 会 計 処 理 及 び 四 半 期 連 結 財 務 諸 表 の

資料2 利用者負担(保育費用)

科 売 上 原 価 売 上 総 利 益 損 益 計 算 書 ( 自 平 成 26 年 4 月 1 日 至 平 成 27 年 3 月 31 日 ) 目 売 上 高 販 売 費 及 び 一 般 管 理 費 営 業 利 益 営 業 外 収 益 受 取 保 険 金 受 取 支 援 金 補 助 金 収 入 保

Microsoft Word - 通達(参考).doc

Microsoft Word - ★HP版平成27年度検査の結果

1 林 地 台 帳 整 備 マニュアル( 案 )について 林 地 台 帳 整 備 マニュアル( 案 )の 構 成 構 成 記 載 内 容 第 1 章 はじめに 本 マニュアルの 目 的 記 載 内 容 について 説 明 しています 第 2 章 第 3 章 第 4 章 第 5 章 第 6 章 林 地

Transcription:

クラウドシステム 基 礎 第 5 回 : クラウドサービスの 設 計 思 想 (1) 国 立 情 報 学 研 究 所 石 川 冬 樹 f-ishikawa@nii.ac.jp

2 今 回 の 内 容 スケーラビリティや 可 用 性, 伸 縮 性 のための クラウドサービスにおける 設 計 思 想 について, Amazon Web Servicesの 実 例 を 通 して 学 ぶ

3 目 次 クラウド 概 論 (ごく 簡 単 に) 例 : Amazon Web Servicesを 用 いた 設 計 例 : Amazon Dynamo DB 内 部 版 の 設 計

4 クラウド: 定 義 ( 例 ) 計 算 資 源 へのアクセス のためのモデル On-demand self-service: 提 供 者 との 人 手 を 介 し たやりとりなく, 自 動 で 取 得 可 能 Broad network access: 様 々なプラットフォームか ら 標 準 的 な 方 法 で 利 用 可 能 Resource pooling: 詳 細 が 隠 蔽 された 形 でプール され, 複 数 の 利 用 者 に 提 供 ( 次 頁 に 続 く) [The NIST Cloud Definition (Final Ver. Sep 2011)]

5 クラウド: 定 義 ( 例 ) 計 算 資 源 へのアクセス のためのモデル ( 前 頁 からの 続 き) Rapid elasticity: 迅 速 に, 伸 縮 可 能 に 提 供 されて おり, 無 限 に 見 えるものから 必 要 な 分 だけ 取 得 Measured Service: 抽 象 的 な 指 標 での 測 定 に 基 づき, 利 用 が 可 視 化 された 形 で 制 御, 最 適 化 [The NIST Cloud Definition (Final Ver. Sep 2011)]

6 クラウド: サービスモデル SaaS (Software-as-a-Service) PaaS (Platform-as-a-Service) IaaS (Infrastructure-as-a-Service) PaaS/IaaSの 区 別 は 本 講 義 では 気 にしない それらはいずれにしても 計 算 資 源 を 提 供 する 側 それらを 利 用 するアプリケーション(やSaaS)に 提 供 される 保 証 の 内 容 や,その 実 現 アプローチを, 本 講 義 では 議 論 している

7 クラウド: 語 られる 例 (1) スケーラビリティ(scalability) 伸 縮 性 (Elasticity) Animoto: 動 画 作 成 閲 覧 サービスをFacebook ユーザが 利 用 可 能 に(2008) Amazon EC2を 利 用 3 日 後 には25 万 ユーザ( 元 々 2 万 5 千 )に 対 応 するために4000サーバ( 元 々50) ホワイトハウス:アンケートWebサイト(2009) Google App Engineを 利 用 2 日 間 で10 万 の 質 問 と 3600 万 の 返 答 ( 最 大 秒 あたり600クエリ)

8 クラウド: 語 られる 例 (2) 事 前 または 保 有 のコストをかけず 柔 軟 な 利 用 (Quick Start, No Up-front Investment, Pay-per-Use) New York Times: 100 年 分 の 新 聞 をPDFに 変 換, テキスト 抽 出 (2007) Amazon EC2 24 時 間 100 台 の 仮 想 マシンを 利 用 (1000ドル 強 ) 日 本 の 公 的 機 関 : 突 然 一 時 的 に 必 要 となるシス テムの 立 ち 上 げ( 定 額 給 付 金 管 理 )(2009) Force.com

9 クラウド: スケールメリット 多 く 買 うほど 安 い 1,000 servers 50,000 servers Network (per 1M/sec) $95 $13 Storage (per 1G) $2.2 $0.4 Management (per 1 supervisor) 140 servers 1000 servers [Above the clouds: A berkeley view of cloud computing, 2009] おまけ: 現 在,Amazonのクラウドへのトラフィック は, 本 業 のものより 多 くなっている 本 業 の 基 盤 のコスト 減 少 にもますます 効 く

10 クラウド: 伸 縮 性 の 考 え 方 固 定 数 のサーバにおける 無 駄 な 余 剰 資 源 または 機 会 損 失 [Above the clouds: A berkeley view of cloud computing, 2009]

11 クラウド: 固 有 の 設 計 思 想 今 までのシステムを, 単 にそのままクラウド 上 で 走 らせることも 考 えられる 今 まで 手 元 のサーバ 上 で 動 かしていたものを, Amazon EC2などのIaaS 上 で( 仮 想 マシンとして) 配 備, 動 作 させてもよい Webフレームワーク,RDBとトランザクションなど 一 方, 今 までのシステムとは 異 なる 特 長,そのた めの 設 計 思 想 が 注 目 されることも 多 々ある 大 規 模 分 散 ( 性 能,スケーラブル, 耐 故 障 )

12 クラウド: 固 有 の 設 計 思 想 Webスケールのデータ 量 アクセス 量 に 対 しては, どんな すごい コンピュータでも1 台 では 足 りない 安 い( 普 通 の)ハードを 大 量 に 使 う 大 量 にあると, 常 に 障 害 がどこかで 発 生 している 障 害 が 発 生 した 部 分 を(ある 程 度 の 期 間 ) 切 り 捨 てても 全 体 としては 機 能 を 維 持 できる 大 量 のデータやアクセスに 対 応 できる 設 計? + 一 部 の 障 害 による 影 響 を 受 けにくい 設 計?

13 補 足 : Scale UpとScale Out 大 量 の 処 理 (リクエストなど)をさばくには Scale Up: 強 力 なサーバを 用 いる 従 来 のオンプレミスサーバやスパコン Scale Out: 管 理 ソフトウェアツールとともに, 大 量 のサーバを 用 いる Webスケールのデータ( 例 :サーチエンジン) 落 ちているサーバが 常 にあるという 仮 定 に 基 づい た 運 用 データや 機 能 について, 並 行 実 行 障 害 復 帰 しや すい 特 定 の 形 式 を 用 いる ( 例 : Key-ValueデータストアやMap Reduce)

14 目 次 クラウド 概 論 (ごく 簡 単 に) 例 : Amazon Web Servicesを 用 いた 設 計 クラウドらしい アーキテクチャ クラウドらしい サービス: Simple DB クラウドらしい サービス: SQS 例 : Amazon Dynamo DB 内 部 版 の 設 計

15 クラウドらしい アーキテクチャ? Amazon Web Services (AWS)のドキュメントより 複 製 による 並 行 処 理 耐 故 障 化 を 容 易 にするコ ンポーネント 分 割 各 コンポーネントの 失 敗 や 遅 れが 互 いに 影 響 しな いように 疎 結 合 を 特 にバッチ 処 理 の 場 合 など, 水 平 ( 同 機 能 の)ス ケールのためには 非 同 期 アーキテクチャに [J. Varis, Architecting for The Cloud: Best Practices, 2010]

16 クラウドらしい アーキテクチャ? Amazon Web Services (AWS)のドキュメントより バッチシステムの 移 行 例 (before) スケジューラー 固 定 数 の 処 理 サーバー [J. Varis, Migrating your Existing Applications to the AWS Cloud, Oct 2010]

17 クラウドらしい アーキテクチャ? Amazon Web Services (AWS)のドキュメントより バッチシステムの 移 行 例 (after) Auto-scaling Key-Valueストア (SimpleDB) キュー(SQS) [J. Varis, Migrating your Existing Applications to the AWS Cloud, Oct 2010]

18 Amazon Web Services の 一 部 バッチシステムのafter 版 に 出 ているもの EC2 (Elastic Compute Cloud): 仮 想 マシンを 走 ら せる 計 算 資 源 サービス(いわゆるIaaS) S3: オブジェクト(ファイル)をget/putする ストレージ Simple DB: 非 リレーショナル 型 のDB (Key-Valueデータストア) SQS(Simple Queue Service): 分 散, 複 製 された キューを 提 供

19 クラウドらしい アーキテクチャ? 参 考 : Webアプリケーションの 場 合 (after) Auto-scaling 同 時 に 落 ちないとされる 領 域 への 計 算 RDBの 分 散 複 製 (availability zone) 世 界 各 地 でのキャッシン グ(CloudFront) [J. Varis, Migrating your Existing Applications to the AWS Cloud, Oct 2010]

20 クラウドらしい アーキテクチャ? 参 考 : バックエンドプロセッシングの 場 合 (after) キュー(SQS) 既 存 コンポーネン トのプロキシによ るラッピング [J. Varis, Migrating your Existing Applications to the AWS Cloud, Oct 2010]

21 目 次 クラウド 概 論 (ごく 簡 単 に) 例 : Amazon Web Servicesを 用 いた 設 計 クラウドらしい アーキテクチャ クラウドらしい サービス: Simple DB クラウドらしい サービス: SQS 例 : Amazon Dynamo DB 内 部 版 の 設 計

22 Amazon Simple DB 非 リレーショナル 型 (Key-Value 型 )データストア キーに 紐 付 くデータのget/putを 中 心 としたAPI 読 み 込 み 操 作 だけでなく, 書 き 込 み 操 作 もブロッ ク 失 敗 せず 速 い 読 み 込 み 操 作 はイベンチュアル 一 貫 性 を 保 証 す るが,オプションによりそれまでに 完 了 した 書 き 込 みを 反 映 する 読 み 込 みも 可 能 翻 訳 も 限 定 的 で, 今 はより 高 度 なDynamo DBとい うサービスが 存 在 する( 後 で 詳 しく) http://aws.amazon.com/jp/simpledb/

23 ( 前 回 より) イベンチュアル 一 貫 性 イベンチュアル 一 貫 性 (eventual consistency) 更 新 はすべてのコピーに 伝 搬 する ( 更 新 がなけ ればすべての 複 製 は 同 一 に 収 束 していく) 以 下 の 性 質 を 持 つデータストアに 適 する (DNSやWebキャッシュが 代 表 例 ) 書 き 込 み 同 士 の 衝 突 はない 読 み 込 みが 必 ずしも 最 新 でなくてもかまわない 追 記 : 性 能 やスケーラビリティの 追 求 のためにあ えて 採 用 することがクラウド 関 連 では 多 い 補 足 : Amazonでの 日 本 語 訳 は 結 果 整 合 性

24 NoSQL NoSQL: Relational DBのモデルに 従 わないス キーマレスなデータストアのモデルに 関 する 総 称 ( 分 散 )Key-Value Store(KVS): キーに 紐 付 く データ 値 の 取 得 に 特 化 したNoSQL 実 現 方 式 大 量 のノードがそれぞれ 特 定 範 囲 のキーに 対 応 するデータを 重 複 して 保 持 することで,キーに 対 する 読 み 書 き(get/put)の 高 いスケーラビリティお よび 可 用 性 を 実 現 RDBでのJOIN 演 算 に 相 当 するような 演 算 など, 仕 組 み 上 高 コストのため 扱 わない 機 能 がある

25 分 散 Key Value Store get 19104 データ 値 はスキーマレス 19104 -> "name:suzuki, age:26, entry:2007, address:chiba" 17051 -> "name:tanaka, birth:1976, entry:2005, tel:03xxxxxxx" キー19104は ノード1, 3が 保 持 分 散 ハッシュテーブルなどにより, キーに 対 応 する 保 持 ノードを 高 速 に 判 定,ノードの 負 荷 分 散 も 適 切 に 2 1 17001 -> 18210 -> 19104 -> "name:suzuki, age:26, entry:2007, address:chiba" 18210 -> 3 4 20002 -> 18210 ->

26 おまけ: DHT 分 散 ハッシュテーブル (DHT: Distributed Hash Table) 中 央 管 理 を 設 けることなく, 膨 大 なデータおよび ルーティング 情 報 を 分 散 して 持 つ 簡 単 な 例 : ノード16 個 (IDが0~15) データのハッシュを 基 にそのデータを 置 くノードを 決 める 各 ノードは 自 分 の ID + 1, 2, 4, 8 (mod 16) のIDを 持 つノードのIPアドレスだけ 覚 える ノード2からノード15へ 行 くには,+8,+4,+1と 進 む (ノード 数 nに 対 して O(log(n)) ステップ)

27 RDBとNoSQL( 大 ざっぱに) RDB 依 存 関 係 の 整 理 ( 正 規 化 )に 基 づく 設 計 例 : ID 氏 名, 会 社 名, 会 社 名 会 社 住 所 実 行 時 にSQLクエリに 応 じた 複 雑 な 処 理 が 発 生 KVS 例 : 上 記 2テーブルを 結 合 してIDから 会 社 住 所 を 予 めクエリパターンを 考 慮 することで, 実 行 時 に は 高 速 なget/putだけで 済 むように 設 計 例 : 頻 発 するなら ID 会 社 名, 会 社 住 所 DBも 会 社 住 所 ID, 氏 名 DBも 作 ればよい

28 スケーラビリティ 可 用 性 重 視 の 複 製 管 理 複 製 管 理 はどうなっている?( 詳 細 はまた 後 で) 再 : 読 み 込 み 操 作 だけでなく, 書 き 込 み 操 作 もブ ロック 失 敗 せず 速 い Quorumを 超 える 数 の 複 製 への 二 次 記 憶 領 域 書 き 込 み 確 認 を 待 たず 書 き 込 み 成 功 が 返 る? 再 : 読 み 込 み 操 作 はイベンチュアル 一 貫 性 を 保 証 するが,オプションによりそれまでに 完 了 した 書 き 込 みを 反 映 する 読 み 込 みも 可 能 書 き 込 み 結 果 はバックグラウンドで 複 製 間 同 期 さ れる?( 読 み 込 み 先 は 基 本 1 複 製 だけでオプショ ンを 付 けると 全 複 製 から 読 み 込 む?)

29 Amazon Simple DB 一 貫 性 に 関 するドキュメントより(1) 一 貫 性 オプションが 有 効 なときは 必 ず 最 新 の 値 を 読 み, 無 効 のときは 古 い 値 を 読 む 可 能 性 あり W1の 完 了 後 にリクエストが 届 いたW2の 方 が 新 しいと 把 握 することはできているということ http://docs.aws.amazon.com/ja_jp/amazonsimpledb/latest /DeveloperGuide/ConsistencySummary.html

30 Amazon Simple DB 一 貫 性 に 関 するドキュメントより(2) 書 き 込 みが 完 了 する 前 に 平 行 して 起 きる 読 み 込 みの 結 果 は, 一 貫 性 オプ ションを 付 けても 不 定 http://docs.aws.amazon.com/ja_jp/amazonsimpledb/latest /DeveloperGuide/ConsistencySummary.html

31 Amazon Simple DB 一 貫 性 に 関 するドキュメントより(3) 書 き 込 みが 完 了 したとされ る 前 に 平 行 して 書 き 込 みが 発 生 すると 結 果 は 不 定 ( 困 るならアプリ 側 でタイム スタンプなどの 制 御 を) http://docs.aws.amazon.com/ja_jp/amazonsimpledb/latest /DeveloperGuide/ConsistencySummary.html

32 目 次 クラウド 概 論 (ごく 簡 単 に) 例 : Amazon Web Servicesを 用 いた 設 計 クラウドらしい アーキテクチャ クラウドらしい サービス: Simple DB クラウドらしい サービス: SQS 例 : Amazon Dynamo DB 内 部 版 の 設 計

33 Amazon SQS 概 要 メッセージの 送 受 信 のための 分 散 キューを 提 供 キューは 複 製 され, 送 受 信 はそのどれかに 対 して 行 われる 全 てのキューが 同 じデータを 持 つ 状 態 に 収 束 し ていく(イベンチュアル 一 貫 性 ) キューを 読 み 出 したとき,その 前 に 送 られたメッ セージが 含 まれるとは 限 らない r1 r1 r4 r2 r3 r3 r2 r4 http://aws.amazon.com/jp/sqs/

34 Amazon SQS 先 に 出 したアーキテクチャより 抜 粋 Workerがキューから タスクを 取 り 出 す, キューに 結 果 を 入 れる 疎 結 合 : タスクの 送 信 元 は,Workerの 反 応 待 ち でブロックしない(Workerも, 結 果 の 受 信 先 の 反 応 待 ちでブロックしない) Workerが 実 際 いくつ 生 きているか,どれが 速 いか を 把 握 せずに, 自 在 にWorkerを 増 減 してもよい が,タスクを 取 り 出 した 後 にWorkerが 落 ちたら?

35 Amazon SQS 少 なくとも1 回 のための 仕 様 受 信 されたメッセージは, 一 時 的 に 見 えなくなる ( 受 信 されなくなる)が, 一 定 時 間 のタイムアウト の 後 に 再 びキューに 含 まれる メッセージを 受 信 しタスクを 行 うプロセスは,タスク 終 了 後 に 明 示 的 にメッセージ 削 除 を 行 う もしもそのプロセスがクラッシュしたり, 繋 がらなく なったりした 場 合, 一 定 時 間 後 にキューにメッセー ジが 現 れ, 別 のプロセスに 処 理 される メッセージは 重 複 して 受 信 される 可 能 性 がある なおFIFOではない( 分 散 キューだと 高 コスト) r1 r1 r4 r2 r3 r3 r2 r4

36 補 足 : Amazon Web Services どれだけのサービスがあるか https://aws.amazon.com/jp/documentation/ 増 え 続 けている

37 目 次 クラウド 概 論 (ごく 簡 単 に) 例 : Amazon Web Servicesを 用 いた 設 計 例 : Amazon Dynamo DB 内 部 版 の 設 計

38 Amazon Dynamo DB AmazonによるKVS(Key-Value Store) 型 データス トアサービス 当 初 はAmazonのオンライン 通 販 サイトの 実 装 の ために 構 築 活 用 (ショッピングカートなど) 一 般 利 用 のための 本 格 的 なKVSクラウドサービ スとして2012 年 頭 にリリース ディスクはSSD, 要 求 スループットを 指 定 し 自 動 ス ケーリング, 高 可 用 性,JSONサポート,

39 内 部 版 Dynamoの 設 計 当 初 のDynamoの 設 計 については2007に 論 文 公 開 されている Amazonのオンライン 通 販 サイト 実 装 のための 内 部 利 用 今 一 般 に 公 開 されているよりも,アプリ 開 発 者 が 負 う 責 任 (カスタマイズできる 余 地 )が 大 きい DeCandia et al., Dynamo: Amazon s Highly Available Key-value Store, 2007

40 内 部 版 Dynamoの 設 計 : 仮 定 と 要 求 1MB 未 満 くらいのデータの 読 み 書 き(キーに 対 す るget/put)ができればよい 複 数 のデータにまたがる 操 作 はない Amazonの 通 販 サイトの 多 くの 部 分 がこれで 動 く 可 用 性 のために 一 貫 性 をゆるめる(ACIDのC) 一 つのキーに 対 する 読 み 書 きだけ 考 えており, 一 連 操 作 の 孤 立 性 (I)のための 保 証 は 考 えない 分 布 の99.9% 以 上 に 対 し 読 み 書 き 数 百 msec 未 満 一 貫 性 や 耐 久 性 と, 性 能 などトレードオフは 設 定 可 能 に

41 内 部 版 Dynamoの 設 計 : 指 針 常 に 書 き 込 み 可 能 に 古 典 的 には, 読 み 込 みを 軽 くし, 一 貫 性 のための 調 整 コスト(ブロックや 失 敗 )は 書 き 込 みが 負 う ( 例 : 書 き 込 み 過 半 数 読 み 込 み1のQuorum) そのコストは 必 要 なら 読 み 込 みが 負 うことに 一 貫 性 のための 競 合 解 決 方 法 は,アプリ 開 発 者 が 決 める 柔 軟 性 を 残 す 物 理 時 間 で 最 新 のものを 残 す などだけではなく 少 しずつノードを 追 加 可 能 対 称 性 を 重 視 (どの ノードも 同 じ) 非 中 央 集 権 ノードは 異 種 混 合

42 内 部 版 Dynamoの 設 計 : バージョン 管 理 常 に 書 き 込 み 可 能 書 き 込 みを 受 け 付 けて 後 で 複 製 間 の 同 期 を 行 う 並 行 する 書 き 込 みや 一 時 的 なネットワーク 分 断 により, 複 数 の 最 新 値 が 存 在 しうる AとBどちらを 保 持 するのか? 3. 周 知 put x -> A 物 理 時 間 で 最 新 の 方 などと 決 めつけると 片 方 が 消 えることに 1. put x -> A 2. put x -> B

43 内 部 版 Dynamoの 設 計 : バージョン 管 理 ベクトルタイムスタンプを 使 ってバージョン 管 理 把 握 出 来 る 因 果 順 序 がある 場 合, 自 動 的 に 競 合 解 決 可 能 5. 周 知 put x -> A この 周 知 が 遅 れて 着 いても 古 い 書 き 込 み であることが 断 言 できる 2. 周 知 put x -> A 1. put x -> A 4. put x -> B 3. get x 1でデータxに 付 けたタイムスタンプが 伝 わり, それより 大 きなタイムスタンプが4で 付 く

44 内 部 版 Dynamoの 設 計 : バージョン 管 理 そうでない 場 合 は 次 の 書 き 込 み 手 に 意 味 を 考 慮 した 競 合 解 決 が 委 ねられる 3. 周 知 put x -> A 1. put x -> A 2. put x -> B 前 後 関 係 が 断 言 できなければAと B 両 方 を 保 持 4. get x 競 合 する 複 数 値 のgetに 続 く putは 競 合 を 更 新 した 最 新 値 と 見 なされる 5. put x -> C AとB(とそれらのメタデータ) を 見 てアプリ 依 存 の 適 宜 処 理

45 内 部 版 Dynamoの 設 計 : バージョン 管 理 アプリ 依 存 の 競 合 解 決 の 例 1. get x 2. put x -> [A, B] アプリプロセス ショッピングカート 内 の 商 品 リストへ 追 加 この 周 知 が3のgetより 遅 れている 5. 周 知 put x -> [A, B] 3. get x 4. put x -> [A, C] 両 バージョン 保 持 6. get x リスト 値 をマージしたものを 最 新 値 とする 7. put x -> [A, B, C] まずaddToCart(B) 次 にaddToCart(C) (カートには 商 品 Aが 追 加 済 み) なお, 同 じ 複 製 に 必 ず 処 理 させる ことの 保 証 はない

46 内 部 版 Dynamoの 設 計 : バージョン 管 理 注 : これらのスライドにおける 図 は, 論 文 におけ る 一 般 論 での 説 明 を 講 師 解 釈 でシナリオを 考 え たもの 実 際 の 内 部 設 計 と 合 致 するかは 不 明 しかも 古 い カート 内 の 商 品 リストからの 削 除 はどう 扱 う? [A,B]に 対 してCを 追 加 して[A,B,C]をput [A,B]に 対 してAを 削 除 して[B]をput マージするというだけだと[A,B,C]となりAが 復 活?

47 内 部 版 Dynamoの 設 計 : バージョン 管 理 実 測 データの 例 (ショッピングカード): getにより 複 数 バージョンのデータが 返 されること がどれだけあるか? 1つ: 99.94% 2つ: 0.0005% 3つ: 0.00047% 4つ: 0.00009% だいたいの 原 因 は 障 害 ではなく,ボットによる 並 行 書 き 込 み

48 内 部 版 Dynamoの 設 計 : 読 み 書 きの 実 装 Sloppy (だらしない) quorum 読 み 書 きリクエストを 受 け 取 ったノードは,N 個 の 複 製 に 送 信 し, 読 み 書 きそれぞれに 定 められた 一 定 数 (R,W) 以 上 の 確 認 をもって 成 功 とする 必 ず R+W>N, 2W>N にするとは 言 っていない 書 き 込 みの 周 知 が 想 定 ノードに 届 かなかった 場 合, 別 の 代 替 ノードに 送 信 代 替 ノードは 後 に 元 々の 想 定 ノードに 書 き 込 み 周 知 を 送 り, 成 功 したら 自 身 のデータは 消 す ( 一 時 的 に 担 当 するが,あくまで 一 時 的 )

49 内 部 版 Dynamoの 設 計 : 読 み 書 きの 実 装 さらに 耐 久 性 への 保 証 を 犠 牲 にして 性 能 を 上 げ る 設 定 も 可 能 基 本 的 にはメモリ 上 のバッファを 使 い,そこへの 書 き 込 み 完 了 を 持 って 確 認 を 返 信 する バックグラウンドで 随 時 二 次 記 憶 に 書 き 込 む その 前 にクラッシュするとその 複 製 では 書 き 込 み が 失 われる N 個 の 書 き 込 み 周 知 先 のうち,1つだけ 二 次 記 憶 にすぐに 書 かせることで 耐 久 性 を 少 し 向 上 確 認 を 待 つのはW 個 (Nより 小 さい)だけなので, 性 能 には 影 響 しない

50 内 部 版 Dynamoの 設 計 : 読 み 書 きの 実 装 メモリバッファの 効 果 ( 応 答 時 間 )

51 内 部 版 Dynamoの 設 計 : 読 み 書 きの 実 装 N, R, Wはデータストアインスタンスごとの 設 定 性 能, 耐 久 性, 一 貫 性, 可 用 性 の 要 求 次 第 典 型 的 には N=3,R=W=2 がよく 使 われた Wを( 過 半 数 より) 小 さくすることも 考 えている 書 き 込 みでブロックしなくなる バージョン 競 合 が 発 生 するようになる 書 き 込 み 成 功 と 通 知 したが, 書 き 込 み 結 果 が 消 え るという 可 能 性 を 発 生 させる

52 内 部 版 Dynamoの 設 計 : その 他 負 荷 の 均 一 化 ( 担 当 ノードの 決 め 方 )については 省 略 分 散 ハッシュテーブルにはしていない ルーティング 情 報 を 分 散 させる 代 わりに,ある キーの 担 当 ノードを 見 つけるまで 数 ホップかける よりも, 全 ノードがルーティング 情 報 を 保 持 内 部 運 用 でありノード 乗 っ 取 りなどは 考 えない ビザンチン 耐 故 障 性 のための 情 報 交 換 などはし ない

53 今 回 のまとめ Web 企 業 が 自 身 の 要 求 から 産 み 出 したクラウド での 技 術 は,これまでと 異 なる 設 計 思 想 に 基 づ いている スケーラビリティや 可 用 性, 伸 縮 性 のため, 一 貫 性 や 実 現 可 能 な 機 能 が 意 図 的 に 制 限 されている 開 発 者 (データストア 利 用 者 ) 側 が 留 意 すべき 制 約 が 多 くなっている 次 回 : これらの 設 計 思 想 についてより 踏 み 込 ん で 引 き 続 き 議 論 する