Data Platform エキスパートに聞く クラウドで実現するビッグデータ活 本マイクロソフト株式会社 本アイ ビー エム株式会社 ホートンワークスジャパン株式会社 佐藤 直 平 毅 北瀬 公彦
Hortonworks 2
アジェンダ メジャーなクラウドにおけるビッグデータ アナリティクス関連サービスについて確認 Azure のビッグデータ アナリティクス関連サービスについて IBM のビッグデータ アナリティクス関連サービスについて 3
本アイ ビー エム株式会社 IBMクラウド事業本部 コンサルティング アーキテクト 平 毅 本マイクロソフト株式会社 パートナー事業本部 エバンジェリスト 佐藤 直
クラウドサービスの紹介ビッグデータ アナリティクス 5 Category OSS AWS Azure IBM ETL NiFi, Sqoop, Flume, Data Pipeline Azure Data Factory Cloud DataPrep Data Connect etc Azure Data Catalog メッセージング Kafka Kinesis Azure Event Hub Cloud Pub/Sub IBM Message Hub システム ビッグデータ分散処理 Hadoop Spark EMR Azure HDInsight Cloud DataProc Cloud Dataflow BigInsights for Apache Hadoop リアルタイム Storm Kinesis Azure Stream Streaming Analytics データ処理 Analytics NoSQL Mongo, Couch, Dynamo Azure Cosmos Cloud Datastore IBM Cloudant HBase, Cassandra, etc Azure Time Series Insights Cloud BigTable データウェアハウス Hive / Druid Redshift Azure SQL Datawarehouse BigQuery IBM Db2 Warehouse on Cloud クエリエンジン Hive, Impala, Presto Athena Azure Data Lake Analytics BigQuery BigInsights for Apache Hadoop (Subscription) BI Superset, etc QuickSight PowerBI Data Studio Cognossなど UnmanagedなBI 製品 を利用 データサイエンス マシーンラーニング Zeppelin Jupyter Notebook 参考 : https://ilyas-it83.github.io/cloudcomparer/ Machine Learning Machine Learning Azure Machine Learning Azure Machine Learning Cloud DataLab Cloud Machine Learning Services IBM Data Science Experience IBM Watson Machine Learning 注意 : カバーできていない他の OSS クラウドサービスもありますが 作成者の視点により主要サービスのみカバーしています
ビッグデータ分析のためのデータパイプライン ソース 収集蓄積処理分析 データ可視化 分析 機械学習 アドホッククエリー ストリームデータ転送 リアルタイム処理 NoSQL Business Intelligence バルクデータ転送 分散ファイルシステム 分散処理 データウェアハウス データサイエンス マシンラーニング 6
クラウドサービスの紹介 OSS ビッグデータ アナリティクス ソース 収集蓄積処理分析 データ可視化 分析 機械学習 Mongo Hive QL / LLAP ストリームデータ転送 NiFi, Kafka Storm, Spark Streaming Hbase, Cassandra Superset Sqoop HDFS Hadoop / Spark Hive / Druid Zeppelin バルクデータ転送 Spark MLlib などの機械学習ライブラリを使用して開発 7 注意 : カバーできていない他の OSS もありますが 作成者の視点により主要サービスのみカバーしています
クラウドサービスの紹介 AWS ビッグデータ アナリティクス ソース 収集蓄積処理分析 データ可視化 分析 機械学習 Athena ストリームデータ転送 Kinesis Dynamo Kinesis Analytics QuickSight Data Pipeline S3 EMR Redshift ML バルクデータ転送 ML 8 注意 : カバーできていないサービスもありますが 作成者の視点により主要サービスのみカバーしています
クラウドサービスの紹介 ビッグデータ アナリティクス ソース 収集蓄積処理分析 データ可視化 分析 機械学習 Datastore BigQuery ストリームデータ転送 Cloud Pub/Sub BigTable Cloud Dataflow Data Studio Cloud DataPrep Cloud Storage Cloud Dataproc BigQuery Cloud Datalab バルクデータ転送 Cloud ML 9 注意 : カバーできていないサービスもありますが 作成者の視点により主要サービスのみカバーしています
クラウドサービスの紹介 Azure ビッグデータ アナリティクス ソース 収集蓄積処理分析 データ可視化 分析 機械学習 Azure Data Lake Analytics ストリームデータ転送 Azure Event Hub Azure Cosmo Azure Streaming Analytics Azure PowerBI Azure Data Factory Azure Blob / ADLS Azure HDInsight Azure SQL Server Data warehouse Azure ML バルクデータ転送 Azure ML 10 注意 : カバーできていないサービスもありますが 作成者の視点により主要サービスのみカバーしています
クラウドサービスの紹介 IBM ビッグデータ アナリティクス ソース 収集蓄積処理分析 データ可視化 分析 機械学習 ストリームデータ転送 それぞれのサービスに付属 IBM Message Hub IBM Cloudant IBM Streaming Analytics Cognoss など Unmanaged な BI 製品を利用 IBM Data Connect IBM Object Storage BigInsights for Apache Hadoop IBM Db2 Warehouse on Cloud IBM Data Science Experience バルクデータ転送 IBM Watson Machine Learning 11 注意 : カバーできていないサービスもありますが 作成者の視点により主要サービスのみカバーしています
Data Platform エキスパートに聞く クラウドで実現するビッグデータ活 本マイクロソフト株式会社 本アイ ビー エム株式会社 ホートンワークスジャパン株式会社 佐藤 直 平 毅 北瀬 公彦
お問い合わせ先 1.. 4. 4... E C 1 1/.. 44. ホートンワークスジャパン株式会社 TEL:03-6205-3284 住所 : 東京都千代 区永 町 2-11-1 王パークタワー 3F info-jp@hortonworks.com http://jp.hortonworks.com