Presentation Title Goes Here with a Maximum of Three Lines of Copy

Size: px

Start display at page:

Download "Presentation Title Goes Here with a Maximum of Three Lines of Copy"

みずきとりこし
4 years ago
Views:

1 Hadoopと IBM Data Science Experience (DSX) を利用したビッグデータ活用日本情報通信株式会社ソリューションビジネス本部ソフトウェアテクニカルセールス部先進テクノロジーグループ梶原克之

2 日本情報通信株式会社略称 :NI+C( エヌアイアンドシー ) 2

3 NI+C のビッグデータアナリティクスソリューション 3

4 自己紹介名前 : 梶原克之 Katsuyuki_Kajiwara@NIandC.co.jp 所属 : ソリューションビジネス本部ソフトウェアテクニカルセールス部先進テクノロジーグループ担当課長経歴 : サーバ / ストレージ / データベース等エンジニア約 10 年サーバ / ストレージ / データベース等テクニカルセールス約 5 年ビッグデータ / アナリティクステクニカルセールス約 4 年現在の主な業務 :Hadoop/DWH 関連のテクニカルセールスから構築保守サポートまで担当 4 趣味 : 映画鑑賞

5 ビッグデータとはいろいろ定義はありますがビッグデータは高ボリューム(Volume データ量高速度 Velocity 高速に更新されるデータ高バラエティ Variety 広範なデータの情報資産のいずれかあるいは全てであり新しい形の処理を必要とし意思決定の高度化見識の発見プロセスの最適化に寄与するでもやってみようとすると出展 5

6 企業のビッグデータ活用の課題 IoT 効率的なデータ収集ができてない分析が担当者の個々の力に依存する SNS DWH 動画クラウド 6 : 金融情報基幹業務ファイルサーバ必要なデータが必要な時に必要な場所にない

7 データを効率的に集め集約化するために必要なのは 7 特定のベンダーに容易且つ柔軟に拡張が可能でロックインされないオープンセキュリティやガバナンスまで考慮テクノロジーされたプラットフォーム

8 データに関わるエンジニアを助けるために必要なのは 8 特定の専門家だけで閉じずにデータに対するトライエラーを分析結果やナレッジを共有し柔軟かつ迅速に行う人とスキルを醸成試行錯誤可能なプラットフォーム IBM Data Science Experience (DSX)

9 でも集めたデータを使ったアナリティクスは意外とどれだけメリットあるか不明 ROI 投資利益率が出しづらい見積利用者数利用頻度データ量レポート数しづらい非機能要件がきまりづらい完成するまで時間がかかるその頃には役に立たない結局ユーザのニーズに合わないので浸透しない変更にコストが掛かる高い金を出した割には使われないなんてことも 9

10 これまでのアナリティクスを変えるために必要なのは時間のかかる要件定義や設計の前にうまくいけば適用範囲を広げて PoCで効果検証小さく始める必要に応じて拡張するクラウドサービスを活用最悪捨てやすいクラウドDWH利用 10 部品を組み合わせてアジャイル的に要件にあわせてサービスの追加を行う柔軟に変更する

11 ちょっとだけ見てみましょう Bluemix&DSX のご紹介 11

12 IBM Bluemixのメリット新しさ便利な機能をどんどんアドイン例えばさまざまなツールを自在に与わせて開発できる定期的な同期自動モバイルアプリ Webアプリマシンログなど JSON形式のデータ RDB感覚で容易にデータ分析 JSONデータの分析は容易にはできないセンサーデータ WebログなどをRDB感覚でカンタンに分析 12

13 IBM Bluemixのメリット PaaS/IaaS統合されてますアナリティクスに必要なサービスが全て揃ってますクラウドオンプレの両方で同じ製品サービスが使える製品が多いです Watson使えます 13

14 DSXはデータサイエンスを支える基盤柔軟に選べる分析者を支援する + IBM の付加価値オープンソース開発環境コミュニティー Object Storage チュートリアルやデータセットの探索 Scala/Python/R/SQL のコード Spark サービスを利用する際の Jupyter Notebooks データサイエンティストとの連携データの保管場所 RStudio IDE および Shiny 質問の投稿 IBM 機械学習* 記事や論文からの情報収集 Apache Spark SPSS Modeler キャンバス* プロジェクトの共有お気に入りのライブラリー規範的分析 - DOcplexcloud GitHub連携プロジェクトおよびバージョン管理 GitHubとも連携 IBM Data Science Experience データサイエンスを実現するために必要な環境がオールインワンでDSXの中に 14 * クローズドベータ中

DSXは柔軟に選べるオープンソース開発環境を提供 DSXは基盤となるApache

GitHubとの連携によりリビジョンコントロールとコードシェアも可能です Scala/Python/R/SQL のコード

お気に入りのライブラリー DSXを支える基盤開発ソフトウェア基盤開発ソフトウェア Apache Spark

Apache Spark Java, Scala, Python Spark SQL Spark Streaming

15 DSXは柔軟に選べるオープンソース開発環境を提供 DSXは基盤となるApache Sparkと開発ソフトウェアのから構成されていますまた GitHubとの連携によりリビジョンコントロールとコードシェアも可能です Scala/Python/R/SQL のコード Jupyter Notebooks RStudio IDE および Shiny Apache Spark お気に入りのライブラリー DSXを支える基盤開発ソフトウェア基盤開発ソフトウェア Apache Spark Rstudio R Jupyter Notebook Scala,Python,R IBM Analytics for Apache Spark Java, Scala, Python Spark SQL Spark Streaming MLlib GraphX Spark Core Hadoop 15 Database as a Mainframe service IBMクラウドに構築フルマネージドでセキュアなSpark環境クラウドで利用可能で資源の占有利用が可能 100% オープンソースSpark DWH

16 DSXは分析者支援するコミュニティを提供初心者から上級者まで使えるチュートリアル分析に関するニュース blogなどだけでなく分析過程や内容の共有などチームのコミュニケーションに役立ちチュートリアルやデータセットの探索ますコミュニティカード - 知識の共有データサイエンティストとの連携質問の投稿プロジェクトチームによるアクティビティデータやコード分析結果をチームでシェア記事や論文からの情報収集プロジェクトの共有 Jupyter Notebook上でのコミュニケーション 16 ライブチャットを利用したフィードバック相談

17 DSXのObject Storage DSXのノートブックから IBM の管理された Spark サービスを使用し複数のデータタイプソースおよびワークロードを統合できます SQL ステートメントの実行 Spark SQL 汎用的なコンピューティングエンジン基本的な I/O 機能タスクのディスパッチスケジュール設定マイクロバッチを介したアナリティクスのストリーミング Spark Streaming 機械学習および統計アルゴリズム分散グラフ処理フレームワーク MLLib 機械学習 Graph Spark Core データソース IBM クラウド 17 パブリッククラウドクラウドアプリオンプレミス

18 DSX と SPSS の融合 DSX Canvas は既存の SPSS Modeler ストリームと互換性があります IBM Machine Learning によりデプロイできます - Data Science Experience Canvas (DSX Canvas) は従来の SPSS Modeler ストリームと互換性があります - 複数の実行ランタイムに対応: SPSS Modeler SparkML (近日公開) - パイプラインで R/Python/SQL コードをサポートします - IBM Machine Learning により DSX Canvas からワンクリックでパイプラインをデプロイします (左図) 注) IBM Machine Learning による DSX Canvas および Canvas のワンクリックデプロイメントはロードマップに含まれている項目です 18

DSX と IBM Machine Learning の融合 IBM Machine

アプリケーションから即時利用できますさらにどのモデルが最適化を自動で判別オートモデリング機能

各種各種メーカーRDB DWH アナザークラウドサービスデータアクセス: データコネクタによるデータ

モデル作成: 単一のUIとAPIを使って複数のアルゴリズムを使ったモデル作成が可能自動モデリング機能

19 DSX と IBM Machine Learning の融合 IBM Machine Learningはモデルの作成だけではなくウィザード形式で手軽に機械学習アプリケーションから即時利用できますさらにどのモデルが最適化を自動で判別オートモデリング機能簡単にできるので何度も色々試行錯誤が可能 IBM Machine Learning オープンソース RDB 各種各種メーカーRDB DWH アナザークラウドサービスデータアクセス: データコネクタによるデータベースへの簡単アクセス DSX(WDP)によるデータアクセスと監査 19 Web Service モデル作成: 単一のUIとAPIを使って複数のアルゴリズムを使ったモデル作成が可能自動モデリング機能 Web Service: リアルタイムストリーミング処理によるモデル適用モニタリングとフィードバックの取得アプリケーションへの適用: REST APIでモデルの適用継続的なモデルの更新

20 DSX 無償トライアルのご案内 20

21 Hortonworks HDF データフローの管理する Apache NiFi メッセージングシステム Apache Kafka リアルタイムデータ処理分散ソフト ApacheStorm 等をベースとした次世代リアルタイムデータ処理ソフトウェア Apache NiFi 米国家安全保障局 NSA が開発していた Niagrafiles プロダクトが寄贈され 2014年11月からOSSに画面上でストリーム処理を行うデータフローを定義し動作させることが出来ることが評価されています 21

22 Hortonworks HDP データ分散処理ソフトウェアの Apache Hadoop や Apache Spark 等のオープンソースソフトウェアをベースとしセキュリティやガバナンスを強化した次世代データプラットフォーム 22

23 NI+C のおすすめデータレイクは最初はオブジェクトストレージなどで手軽に小さく始めるその後データ増加量特性により Hadoop/RDB 等を検討するただし切り替え判断は早めに下す IBM Cloud Object Storage バッチはサーバレスも活用 OpenWhisk フロントは用途に合わせて自由に選択 ( マルチクラウド ) IBM Cloudant IBM Db2 Warehouse PaaS で検証 IaaS/ オンプレへの展開も OK まずは開発維持環境としてクラウド利用 ( 利用しない時は停止できる ) 23 データサイエンス担当者サポートする環境を準備する

24 ビッグデータ活用のキーポイント最初はクラウドで IoT データを効率的に集め集約する必要なサービスを必要な時に必要な量利用する分析者の負荷を低減する SNS 動画 : 金融情報基幹業務 SaaS PaaS/SaaS PaaS/SaaS 24

25 ビッグデータ活用のキーポイント IoT データを効率的に集め集約する育ったらオンプレもあり必要なサービスを必要な時に必要な量利用する分析者の負荷を低減する SNS 動画金融情報基幹業務 25 ＩａａS/オンプレ PaaS/SaaS/オンプレ PaaS/SaaS/オンプレ

26 ユースケース工場サーバとセンサーデータの分析データ収集レイヤデータ処理レイヤ可視化レイヤ Edgeサーバ Edgeサーバ BI/BAサーバ RDB Edgeサーバ DataWorks アナザーセンサーデータクラウド NiFi Kafka HDFS Data Science Experience Monetize or Analytics センサーデータ 26

27 NI+Cの強み Bluemix 全体でのビジネスでNo1評価 InterConnect 2017 Winner of Outstanding Achievement in Japan Finalist of Cloud Platform Innovation Award 3年連続 Bluemix リセラー No1 国内初 Bluemix Shared サービス展開中 27

28 NI+Cの強み IBM Bluemix のアーキテクトが充実各種活動 Bluemix User Groupコアメンバー IBM Champion認定技術ブログ初のBluemixに於ける開発入門書籍の執筆 /7 発売各種情報媒体への執筆など 30 価格 3024円/288ページぐ/大型版 ISBN: 技術評論社刊 28

29 NI+C の強み Hortonworks 販売パートナー 29

30 ご不明点はメールにてお気軽にお問合せください 30

Hortonworks Kitase

Hortonworks Kitase Data Platform エキスパートに聞くクラウドで実現するビッグデータ活本マイクロソフト株式会社本アイビーエム株式会社ホートンワークスジャパン株式会社佐藤直平毅北瀬公彦 Hortonworks 2 アジェンダメジャーなクラウドにおけるビッグデータアナリティクス関連サービスについて確認 Azure のビッグデータアナリティクス関連サービスについて IBM のビッグデータ