(Microsoft PowerPoint - EventStreamsWeb\203Z\203~\203i\201[\216\221\227\277_1030_final.pptx)

Size: px

Start display at page:

Download "(Microsoft PowerPoint - EventStreamsWeb\203Z\203~\203i\201[\216\221\227\277_1030_final.pptx)"

しょうこきせんばる
4 years ago
Views:

1 IBM ソフトウェア Web セミナーシリーズ - 最新技術情報を毎週お届け! 自席で簡単スキルアップ - 企業システムで使える Apache Kafka のご紹介日本アイビーエム株式会社 IBM クラウド事業本部第二テクニカルセールス恩田洋仁

2 目次メッセージングとイベント処理 Apache Kafka のアーキテクチャーと特徴のご紹介まとめ 2

3 メッセージングとイベント処理 Apache Kafka のアーキテクチャーと特徴のご紹介まとめ 3

4 常的に遭遇する非同期処理の例オーダーと会計の時間 VS 料理を作る時間 4

5 静的なデータソースから多様なイベントソースへアプリサーバーモバイルブラウザーマイクロサービス SNS アナリティクス IoT データベースデータソースデータベースファイル KVS メッセージキューイベントソース Web サイトトラッキングや SNS ( ページビュークリックいいねコメント追加など ) アプリケーションログ ( ユーザー情報ロールパラメーター呼び出し可否エラー情報など ) システムログ IoT データ (GPS 温度センサー振動加速度センサーなど ) 5

6 ( 非同期 ) メッセージング処理の三つの特徴送達の信頼性リクエストリプライ一時的な持続性特定の宛先に特定の目的のデータの確実な伝達 6

7 MQ の代表的な途 : ディレード処理 2 フェーズコミットフロント業務システムバックエンド業務システム照会業務オンライン取引 Web DB 更新 : DB 更新 MSG 送信 : MSG 送信 DB 更新 DB PDF 作成印刷など確実に 1 回の伝送その他の用途異機種間データ連携ワークフロー業界ネットワークのデータ通信 7

8 非同期メッセージング処理のミドルウェアとして 25 年 Salesforce 連携 Fortune 100 に掲載されている企業の 85% 世界トップ 100 の銀行の 94% が信頼のおけるメッセージング基盤として IBM MQ を採用 8

9 ( 非同期 ) イベントストリーミング処理の三つの特徴 Events = something that happens スケーラビリティ不可変データ履歴データイベントは起きた事実を不可変に記録伝達し宛先や目的も限定されない 9

10 イベントストリーミングの途例 Event Backbone App Event Backbone Event Backbone ML A P I マイクロサービスのイベントバックボーンアナリティクスシステムへのイベントバッファークラウドネイティブアプリケーションへのブリッジ変化の激しいクラウドネイティブなアプリケーションのデータ連携のための中央バスとして IoT ウェブサイトのユーザートラッキング情報ログ情報といった膨大なデータをデータ分析のためのシステムに中継既存のオンプレミスシステムからクラウドネイティブなアプリケーションへデータの伝達 10

11 マイクロサービスアーキテクチャーモノリシックなアプリケーションマイクロサービスアプリケーション API API マイクロサービスアーキテクチャーのメリット - 新規サービスのリリースやサービス変更を迅速にえる俊敏性 - オンデマンドの拡張性 - サービスダウンタイムの最小化 API 課題 : データも分散するすべてを API にすると開発スピードや応答性が犠牲に DB を共有すると密結合にデータの整合性はどう担保する? 疎結合凝縮性拡張性を維持しながら分散するデータをどのように管理するか?

12 イベントソースパターン起きた事象を不変のデータとしてイベントストアに追記アプリケーションはそれらを再して処理をう ( 障害時にはリプレイ可能 ) 外部システムアナリティクスシステムイベントストア時系列のイベントアナリティクスシステムは繰り返し一連のイベントを取得してデータ分析をえる 12

13 イベントストアに求められる要件機能面追記限定な不変のイベントをストリームとして扱えること必要に応じて時系列データを遡って再できること非機能面クライアント数の増加に対する拡張性データ量に対するい性能と拡張性ミッションクリティカルな基盤としての高い信頼性 13

14 メッセージングとイベント処理 Apache Kafka のアーキテクチャーと特徴のご紹介まとめ 14

15 Apache Kafka 概要 LinkedIn 社によって開発され 2011 年に OSS 化された Publish/Subscribe 型のメッセージング製品分散コミットログ分散ストリーム処理基盤とも呼ばれる大量のメッセージを超高速に処理 - 秒間数百万件の処理を 1 ノードで処理 15

16 Kafka と kubernetes のキーワードのトレンド 16

17 トップ 10 の旅会社の内の 6 社トップ 10 の銀の内の 7 社トップ 10 の保険会社の内の 8 社トップ 10 の通信会社の内の 9 社で本番システムで Kafka が採用されている 17

18 Apache Kafka アーキテクチャー Producer Producer Producer パブリッシュ外部システム ( 側 ) 外部システム ( 出側 ) コネクター Source Connector Sink Connector ブローカートピック Stream Processor Stream Processor サブスクライブ Consumer Consumer Consumer 18

19 パーティショニングによりトピックへのアクセスをスケールトピック Partition プロデューサーパブリッシュ Partition Partition 古い新しい複数のブローカーで負荷を分散できるためスケールする同一のキーのメッセージは同一パーティションに順序性を保って送信される 19

20 パーティション内のメッセージの消費でデータは消されず各コンシューマーのオフセットのみが更新されるトピックコンシューマー A (offset 6) プロデューサー Partition コンシューマー B (offset 9) メッセージはログが保存されている限り必要に応じて読み直すことができる 20

21 コンシューマーグループよる負荷分散コンシューマーグループ A トピック Consumer p0, offset 7 Partition Consumer p1, offset 3 Consumer p2, offset 4 Consumer Partition コンシューマーグループ B Partition Consumer p0, offset 6 Consumer p1, offset 1 p2, offset 5 21

22 レプリケーションによる可用性の実現 ( 正常時 ) クラスター Broker 1 Broker 2 Broker 3 Broker 4 P1 : Leader P2 : Leader P3 : Leader 各パーティションはレプリカを複数保持しデータは冗化されるレプリカの一つがリーダーと呼ばれ lproducer と Consumer はリーダーと接続 22

23 レプリケーションによる可用性の実現 ( 障害発生時 ) クラスター Broker 1 Broker 2 Broker 3 Broker 4 P1 : Leader P2 : Leader P3 : Leader P1 : Leader ダウンしたブローカーにリーダーのパーティションは稼働中の別のブローカー上のパーティションに取って代わられる Producer, Consumer は自動的に接続し直すレプリカが一つでも残っていればデータは失われない 23

24 メッセージの消失を防ぐ仕組み (Producer :acks=all の場合 ) 時間正常時 Producer send() success Broker 1 Broker 2 Broker 3 P1 : Leader Producer の送信要求は正常に稼働しているレプリカすべてにコピーがわれてはじめて成功応答が返る異常時時間 Producer send() Timeout send() success Broker 1 Broker 2 Broker 3 P1 : Leader P1: Leader レプリカ完了前にブローカーがダウンすると Producer にはエラーが返るリトライによってリーダーを引き継いだブローカーに対して再送がわれ処理は完了する 24

25 Apache Kafka は顧客体験を向上させるモダンなアーキテクチャーを実現する標準的な基盤イベントへの即座の反応再生可能な不変のイベントストリーム Decisions driven by data Runs natively on cloud 膨大なデータの洞察に基づく決定高い水平拡張性信頼性 25

26 メッセージングとイベント処理 Apache Kafka のアーキテクチャーと特徴のご紹介まとめ 26

27 IBM s Kafka Expertise, Experience 2015 年より IBM は世界中のデータセンターで Kafka をパブリッククラウドサービスとして運用してきた実績がありますダラスロンドンフランクフルトシドニーワシントン DC そして東京 ( 予定 ) IBM はフルマネージドの Kafka クラウドサービスを提供した最初のベンダーパプリックマルチテナントサービス占有シングルテナントサービス 27

はオープンテクノロジーの IBM Cloud Private/Public 上で稼働

Cloud Private (ICP) AWS AWS Text or image

28 はオープンテクノロジーの IBM Cloud Private/Public 上で稼働オンプレミスセルフマネージドパブリッククラウドフルマネージドサービス IBM Cloud Private (ICP) AWS AWS Text or image Text or image Text or image Text or image 稼働に必要なものをすべて含んだ実可能なパッケージングコンテナー化されたアプリケーションの自動配備オートスケール Kubernetes 対応のアプリの定義インストールアップグレードパブリッククラウドやオンプレミスでの Infrastructure as Code コンテナーオーケストレーションマネジメントプロビジョニング 28

29 直感的かつ簡単に導構成管理が可能トピックの状態をビジユアルに管理たった 3 クリックでデプロイメント可能 29

30 既存システムから MQ 経由で Event Streams への連携可能既存システムキュー TO.KAFKA.Q MQ ソースコネクター Task トピック FROM.MQ.TOPIC Task Task IBM MQ Kafka Connect フレームワーク 30

31 IBM Cloud を活用したレプリケーションによる災害対策地理的に分散したマルチデータセンター間でのレプリケーションを実現 31

32 Geo-Replication 機能により簡単に災害対策環境を構成レプリケーション元の Kafka クラスター宛先となる Kafka クラスター Originating topic Replicator task Destination topic Originating topic Replicator task Destination topic メッセージデータだけでなくトピック構成メタデータパーティションやタイムスタンプ情報もコピー可能 32

33 Ready for Mission Critical Workloads ミッションクリティカルな基幹システムに対する豊富な実績のある IBM 製品サポートをワールドワイドレベルで提供 33

34 のエディション製品版 Apache Kafka ZooKeeper デプロイメントの自動化管理 API 管理 UI サンプルアプリケーション IBM のサポート災対構成のサポート MQ コネクター ICP Foundation 有償 IBM のサポートと追加のコンポーネントが提供エンタープライズ用途の追加コンポーネントと商用環境向けのフルサポートを提供 Community Edition Apache Kafka ZooKeeper デプロイメントの自動化管理 API 管理 UI サンプルアプリケーション無償基本コンポーネントの提供 ( サポート無し ) ICP Community Edition を検証評価するための無償のコミュニティエディションを提供 34

35 メッセージングとイベント処理 Apache Kafka のアーキテクチャーと特徴のご紹介まとめ 35

36 まとめ更なる顧客体験の向上には様々なイベントに即応できるプラットフォームが必要 2015 年よりフルマネージドの Kafka クラウドサービスを提供してきた経験を活かし Event Streams を開発 MQ での既存システム連携や地理的に分散したデータセンター間でのレプリケーションは企業向け Kafka として重要な機能 IBM Cloud Private の技術により数分で Event Streams を本番環境として構築管理基幹システムで豊富な実績のある IBM 製品サポートをワールドワイドレベルで提供可能 36

38 ワークショップセッションおよび資料は IBM またはセッション発表者によって準備されそれぞれ独の解を反映したものですそれらは情報提供の目的のみで提供されておりいかなる参加者に対しても法律的またはその他の指導や助を意図したものではなくまたそのような結果をむものでもありません本講演資料に含まれている情報については完全性と正確性を期するよう努しましたが現状のまま提供され明または暗にかかわらずいかなる保証も伴わないものとします本講演資料またはその他の資料の使によってあるいはその他の関連によっていかなる損害がじた場合も IBM は責任を負わないものとします本講演資料に含まれている内容は IBM またはそのサプライヤーやライセンス交付者からいかなる保証または表明を引きだすことを意図したものでも IBM ソフトウェアの使用を規定する適用ライセンス契約の条項を変更することを意図したものでもなくまたそのような結果をむものでもありません本講演資料で IBM 製品プログラムまたはサービスに言及していても IBM が営業活動をっているすべての国でそれらが使可能であることを暗するものではありません本講演資料で及している製品リリース日付や製品機能は市場機会またはその他の要因に基づいて IBM 独の決定権をもっていつでも変更できるものとしいかなる法においても将来の製品または機能が使可能になると確約することを意図したものではありません本講演資料に含まれている内容は参加者が開始する活動によって特定の販売売上の向上またはその他の結果がじると述べるまたは暗することを意図したものでもまたそのような結果をむものでもありませんパフォーマンスは管理された環境において標準的な IBM ベンチマークを使用した測定と予測に基づいていますユーザーが経験する実際のスループットやパフォーマンスはユーザーのジョブストリームにおけるマルチプログラミングの量出構成ストレージ構成および処理されるワークロードなどの考慮事項を含む数多くの要因に応じて変化しますしたがって個々のユーザーがここで述べられているものと同様の結果を得られると確約するものではありません記述されているすべてのお客様事例はそれらのお客様がどのように IBM 製品を使したかまたそれらのお客様が達成した結果の実例としてされたものです実際の環境コストおよびパフォーマンス特性はお客様ごとに異なる場合があります IBM IBM ロゴ ibm.com は世界の多くの国で登録された International Business Machines Corporation の商標です他の製品名およびサービス名等はそれぞれ IBM または各社の商標である場合があります現時点での IBM の商標リストについてはをご覧ください 38

IBM Presentations: Smart Planet Template

IBM Presentations: Smart Planet Template Nutanix Tips 冗長性設計のヒント 2018 年 12 月 7 日日本アイビーエム株式会社システムズハードウェア事業本部 Power Systems テクニカルセールス 1 Nutanix システムの冗長性の設計耐障害性に関して以下の 2 点を決定します Redundancy Factor ノードが何台ダウンしてもクラスターが稼動し続けるか? Replication Factor