1. はじめに Copyright 2014 Japan OSS Promotion Forum 1

Transcription

1 OSS によるビッグデータシステム ~ 動向調査と選択方針について ~ 2014 年 9 月 16 日 日本電気株式会社中島武史 株式会社日立製作所中島雅彦 Copyright 2014 Japan OSS Promotion Forum

2 1. はじめに Copyright 2014 Japan OSS Promotion Forum 1

3 1. はじめに 背景 ソーシャルデータ センサデータ モバイル機器から生じるデータ など ビッグデータ が増加かつ多様化している OSS の世界においては Hadoop をはじめ それらビッグデータを処理するための多種多様な技術が次々と生まれている また従来技術も併せて進化し それらが連携したシステムを形成しつつある 一方 企業においては ビッグデータを利活用し 差別化や競争力の源泉とする試みが進んでいる しかし 選択肢が増えるとともに 自社に適切な IT 技術を選択することが難しくなっている 本資料の目的 ビッグデータ関連 OSS を目的別に大きく区分し それらを関係づけた ビッグデータシステム俯瞰図 により全体像を可視化する これにより 企業におけるビッグデータ IT システム検討において必要な OSS を選択しやすくする 同時に 企業で OSS を活用する際に重要となる導入実績や品質の目安を提供する Copyright 2014 Japan OSS Promotion Forum 2

4 2. ビッグデータシステム俯瞰図 Copyright 2014 Japan OSS Promotion Forum 3

5 2-1. 本章の流れ 本章ではビッグデータ俯瞰図に必要なパーツを機能ごとに分け 全体像を示す 全体像の各機能ごとに対応する OSS を洗い出し その OSS の中から主要なものを抽出し ビッグデータ俯瞰図の中にマッピングを行う 各機能ごとの OSS 選定基準としては ビッグデータ分野での知名度 実績 注目度 システム構築上の要素となり得るもの サポートベンダーの有無などを総合的に判断のうえ抽出した Copyright 2014 Japan OSS Promotion Forum 4

6 2-2. ビッグデータ関連 OSS システム俯瞰図の全体像 ビッグデータからビジネス価値を生み出す流れ データソース Web データ 売上情報など センサデータ 構造化データ ( 業務 RDB) 非構造化データ データ収集 検知 データ蓄積部分へのデータのロード 収集 非構造化データの収集 CEP クローラ Web データ収集 データロード 発生したデータをその場でリアルタイム処理 ビッグデータ蓄積 貯蔵 その他 データ蓄積ファイルシステム スケールアウト可能なデータ蓄積基盤 セキュリティ / 認証 ビッグデータ蓄積基盤に対するセキュリティ 認証 高速化キャッシュ / スケールアウト インメモリ DG/ 分散 KVS NoSQL と呼ばれる領域キーバリュー型 カラム型 ドキュメント指向型などがある 並列分散処理 並列分散処理基盤 準リアルタイムクエリ ビッグデータに対するアドホッククエリ データロード ビッグデータ蓄積基盤から RDB へのデータロード データ分析 分析用データ 機械学習 データ集合から知識 ルールなどを導き出す 統計解析 データ集合に対して統計を行う 分析 / 可視化ツール BI ツール データを分析し その結果を可視化する 定型業務 RDB リレーショナルデータベース 解析ツール インメモリ DB メモリ上でのデータ管理 DWH マートレスDB 様々な角度から分析するためのデータ倉庫 システムログ音声画像 運用管理 監視 稼働監視 性能監視 ジョブ管理などの管理系機能 データ蓄積ファイルシステムに対するセキュリティ / 認証であるためビッグデータ蓄積 貯蔵 その他のカテゴリに分類 ビッグデータ関連 OSS システム俯瞰図は複数の機能コンポーネントが組み合わさっている Copyright 2014 Japan OSS Promotion Forum 5

7 2-3. クローラ / データロード / 収集 概要 クローラ Web 上のデータを取得し そのデータを保存するツール データロード RDB などからデータロード ETL を行うツール 収集 ログデータなどの非構造化データをデータ保存領域に格納するツール 主な OSS 一覧 今回調査対象 OSS クローラ ManifoldCF Nutch Anemone wget データロード Sqoop Talend Apache Cocoon Enhydra Octopus 収集 Fluentd Flume Scribe Copyright 2014 Japan OSS Promotion Forum 6

8 2-4. CEP 概要 主な OSS 一覧 今回調査対象 OSS 発生したデータをその場でリアルタイムに処理する技術領域 Storm Apache S4 Jubatus Esper Drools Fusion Jubatus は機械学習フレームワークであるがオンライン処理で実施するため CEP のカテゴリに分類 Copyright 2014 Japan OSS Promotion Forum 7

9 2-5. データ蓄積ファイルシステム / 並列分散処理 概要 主な OSS 一覧 今回調査対象 OSS データ蓄積ファイルシステム スケールアウト可能な分散ファイルシステムにより ビッグデータの保存領域として対応できるデータ蓄積基盤 並列分散処理 データ蓄積ファイルシステムを利用するなどして並列分散処理を提供する基盤 データ蓄積ファイルシステム Hadoop HDFS Lustre GlusterFS Ceph XtreemFS 並列分散処理 Hadoop MR Hadoop YARN Spark Tez Giraph OpenMPI Mesos Copyright 2014 Japan OSS Promotion Forum 8

10 2-6. 準リアルタイムクエリ 概要 主な OSS 一覧 今回調査対象 OSS Hadoop に対して準リアルタイムクエリを提供し アドホックなクエリを可能にするソフトウェア Drill Hive(Stringer Initiative) Impala(Cloudera) Copyright 2014 Japan OSS Promotion Forum 9

11 2-7. セキュリティ 認証 概要 セキュリティ 暗号化やアクセス制御関連のソフトウェア 認証 認証の基盤となるディレクトリサービスやそれらの管理ソフトウェア 主な OSS 一覧 今回調査対象 OSS セキュリティ MIT Kerberos OpenSSL OpenVPN SELinux Iptables 認証 OpenLDAP Apache Directory DS Fedora Directory Server LISM OpenDS Copyright 2014 Japan OSS Promotion Forum 10

12 2-8. 高速化キャッシュ / スケールアウト分野 概要 一般的に NoSQL(Not only SQL) や NewSQL と呼ばれる分野であり RDBMS 以外の幅広いデータストアを指す特に 2000 年代以降 多数の OSS が開発 / 公開され続けている キーバリュー型 (KVS) カラム指向型 ドキュメント指向型 など さまざまなタイプが存在し それぞれ特長や特性が異なる 主な OSS 一覧 今回調査対象 OSS Cassandra CouchDB HBase Hibari Hypertable Infinispan Memcached MongoDB Neo4j Redis Riak ROMA Tokyo Cabinet/Tyrant Voldemort Copyright 2014 Japan OSS Promotion Forum 11

13 2-9. 機械学習 / 統計解析 概要 機械学習 データ集合から さまざまなアルゴリズムに基づいて 有用なルール 知識 判断基準などを導き出すソフトウェア 統計解析 ここでは統計解析プログラミング言語を調査対象とした 主な OSS 一覧 今回調査対象 OSS 機械学習 Apache Mahout KNIME Orange Rapid Miner scikit-learn Shogun toolbox Weka 統計解析 R Copyright 2014 Japan OSS Promotion Forum 12

14 2-10.BI ツール 概要 データを分析し レポーティングやダッシュボード等の形式で可視化するためのソフトウェア 主な OSS 一覧 今回調査対象 OSS Eclipse BIRT Pentaho Jasper Reports SpagoBI Copyright 2014 Japan OSS Promotion Forum 13

15 2-11. 定型業務 RDB/ インメモリ DB/DWH マートレス DB 概要 定型業務 RDB 従前から存在するリレーショナルデータベースソフトウェア インメモリ DB データ管理を主にメモリ上で行うソフトウェア NoSQL の中にもインメモリ型が存在するが ここではインメモリ型のリレーショナルデータベースを対象とした 主な OSS 一覧 今回調査対象 OSS DWH マートレス DB 大量の業務データを統合して格納し 様々な角度から分析するためのデータ倉庫として利用するソフトウェア 定型業務 RDB Apache Derby Firebird MariaDB MySQL PostgreSQL インメモリDB VoltDB DWH マートレス DB RDB が活用されることが多く 当該分野に特化した OSS は見つからなかった Copyright 2014 Japan OSS Promotion Forum 14

16 2-12. 運用管理 監視 概要 システムの稼働監視 性能監視 ジョブ管理などを行い 業務システムを円滑に運用するためのソフトウェア 主な OSS 一覧 今回調査対象 OSS Ganglia Groundwork Monitor Hinemos MRTG Munin Nagios OpenNMS Zabbix Zenoss Copyright 2014 Japan OSS Promotion Forum 15

17 2-13. ビッグデータ関連 OSS のシステム俯瞰図 対応する OSS をマッピングしたシステム俯瞰図 データソース Web データ 売上情報など センサデータ 構造化データ ( 業務 RDB) 非構造化データ データ収集 検知 ManifoldCF Nutch Sqoop Talend 収集 Fluentd Flume CEP Storm Apache S4 Jubatus Esper Drools Fusion クローラ データロード ビッグデータ蓄積 貯蔵 その他並列分散処理 データ蓄積ファイルシステム Hadoop HDFS Lustre GlusterFS Ceph セキュリティ / 認証 MIT Kerberos OpenLDAP 高速化キャッシュ / スケールアウト インメモリ DG/ 分散 KVS Cassandra MongoDB Infinispan Redis Riak HBase Hadoop MR Hadoop YARN Spark 準リアルタイムクエリ Drill Hive Impala データロード Sqoop データ分析 機械学習 Mahout 統計解析 R 言語 分析 / 可視化ツール 分析用データ BI ツール Pentaho JasperReports 定型業務 RDB MySQL PostgreSQL 解析ツールインメモリDB VoltDB DWH マートレスDB OSSで著名なものはない システムログ音声画像 Hinemos Zabbix 運用管理 監視 上記システム俯瞰図は商用 OSS ディストリビューションを除いて記載 Copyright 2014 Japan OSS Promotion Forum 16

18 3.OSS 概要調査 Copyright 2014 Japan OSS Promotion Forum 17

19 3-1. 調査項目説明俯瞰図における区分 分析項目 機能概要 開発主体 マイナーリリース回数 パッチリリース数 ドキュメントの充実度 ( 英語 ) ドキュメントの充実度 ( 日本語 ) OSS の機能概要 Apache Software Foundation, 企業, 純粋なコミュニティなど 開発実体の調査 2013/4~2014/3 にリリースされたマイナーバージョンの回数 2013/4~2014/3 にリリースされた個別パッチの回数 ( 個別パッチが公開されていない もしくは JIRA 投稿などに散在していて活用しにくく マイナーバージョンリリースを利用すべき場合はその旨記載 ) 存在する英語ドキュメントの種類 存在する日本語ドキュメントの種類 Amazon に登録されている英語の関連書籍数 (2014/5 月時点 ) Amazon に登録されている日本語の関連書籍数 (2014/5 月時点 ) サポートの充実度 実績 サポートサービスを提供している企業 複数の企業がサポートを提供し 日本の企業も存在する 複数の企業がサポートを提供するが海外のみ 単一の企業がサポートを提供 ( 日本 ) 単一の企業がサポートを提供 ( 海外 ) サポート企業がない Linux Foundation SI Forum 2013 年度オープンソースソフトウェア活用動向調査 レポートにおける導入実績 OSSサービスを提供している回答企業 6 社中 導入多数 5 社以上で導入実績あり 導入あり 3 社以上で導入実績あり 検証多数 5 社以上で検証実績あり 検証あり 3 社以上で検証実績あり ランク外 導入 / 検証実績なし 掲載なし レポートに当該 OSSの掲載なし アンケート対象はベンダー企業であり 対象 OSSを用いたシステム構築 / 検証の実績有無をカウントしている ユーザコミュニティ 2013/4~2014/3 のユーザメーリングリストの月ごとの投稿数または投稿スレッド数 (1 発言に対するレス群を 1 スレッドとカウント ) 開発者コミュニティ 2013/4~2014/3 の開発者メーリングリストの月ごとの投稿数または投稿スレッド数 (1 発言に対するレス群を 1 スレッドとカウント ) 歴史 商用ディストリビューションの有無 OSS ライセンス 初回リリースとその後の主要バージョンリリース時期 商用ディストリビュータの有無 OSS ライセンス区分 Copyright 2014 Japan OSS Promotion Forum 18

20 3-2. ManifoldCF データ収集 検知 [Web クローラ ] 分析項目 機能概要 開発主体 マイナーリリース回数 パッチリリース数 ドキュメントの充実度 ( 英語 ) ドキュメントの充実度 ( 日本語 ) サーバに保管されている文書ファイルや Web ページなどコンテンツを収集し 検索エンジンに送るソフトウェア Apache Software Foundation 6 回 マイナーリリースで代用 サポートの充実度単一の企業がサポートを提供 ( 日本 ) 日本 野村総研 実績 ユーザコミュニティ 開発者コミュニティ 歴史 概要 互換性マトリックス FAQ API ドキュメント Javadoc ビルドディプロイ チューニング 開発者リソース エンドユーザドキュメント 概要 互換性マトリックス 開発者リソース エンドユーザドキュメント 0 冊 0 冊 掲載なし 833 件 件 MetaCarta, Inc. により開発され 5 年間の間に開発 / テストが繰り返された後 2009 年 12 月に Apache Software Foundation にコードが寄贈 2012 年 5 月に でインキュベータを卒業 2014 年 5 月時点で 1.6 が最新 商用ディストリビューションの有無 無 OSS ライセンス Apache License Version 2.0 Copyright 2014 Japan OSS Promotion Forum 19

21 3-3. Nutch データ収集 検知 [Web クローラ ] 分析項目機能概要開発主体マイナーリリース回数パッチリリース数ドキュメントの充実度 ( 英語 ) ドキュメントの充実度 ( 日本語 ) サポートの充実度実績ユーザコミュニティ開発者コミュニティ歴史商用ディストリビューションの有無 拡張性とスケーラビリティに優れた Web クローラ Apache Software Foundation 1 系 :2 回 2 系 :2 回 1 系 :57 個 2 系 :35 個 FAQ Tutorial API Docs コミュニティ上では英語のみ 7 冊 0 冊 サポート企業がない 掲載なし 2661 件 件 Hadoop や Lucene の作成者である Doug Cutting 氏により開発複数台マシンでクロール インデックス作成を行うために MapReduce と分散ファイルシステムが開発され これらが Hadoop としてスピンオフした 2005 年 1 月に Apache のインキュベータとなり 2010 年 4 月から Apache のトップレベルプロジェクト 2014 年 5 月時点で 1 系 :1.8 2 系 :2.2.1 が最新 無 OSS ライセンス Apache License version 2.0 Copyright 2014 Japan OSS Promotion Forum 20

22 3-4. Sqoop データ収集 検知 [ データロード ] 分析項目 機能概要 開発主体 マイナーリリース回数 パッチリリース数 ドキュメントの充実度 ( 英語 ) ドキュメントの充実度 ( 日本語 ) サポートの充実度 実績 ユーザコミュニティ 開発者コミュニティ 歴史 商用ディストリビューションの有無 Hadoop とリレーショナルデータベースのような構造化データとの間のデータ転送を効率的に行うツール Apache Software Foundation 1 系 :1 回 2 系 :2 回 1 系 :35 個 2 系 : マイナーリリースで代用 ユーザガイド 開発者ガイド API ドキュメント インストールマニュアル アップグレードマニュアル ビルドマニュアル 開発環境セットアップ API ガイド 開発コネクタ REST API ガイド コミュニティ上では英語のみ 2 冊 0 冊 複数の企業がサポートを提供し 日本の企業も存在する 日本 Cloudera Japan 海外 Cloudera Hortonworks 掲載なし 1122 件 件 年 5 月 ~2010 年 4 月 :Hadoop Contrib Module 2010 年 4 月 ~2011 年 6 月 :Cloudera GitHub 2011 年 6 月 ~2012 年 3 月 :Apache Incubator 2012 年 3 月 ~:Apache Sqoop 2014 年 5 月時点で 1 系 : 系 : が最新 OSS ライセンス Apache License Version 2.0 Cloudera Distribution including Apache Hadoop( 以下 CDH)(Cloudera) Hortonworks Data Platform( 以下 HDP)(Hortonworks) Copyright 2014 Japan OSS Promotion Forum 21

23 3-5. Talend データ収集 検知 [ データロード ] 分析項目機能概要開発主体マイナーリリース回数パッチリリース数 大容量 多様性に富むデータに対するロード 抽出 変換を行う Talend 2 回マイナーリリースで代用 ドキュメントの充実度 ( 英語 ) ドキュメントの充実度 ( 日本語 ) インストール手順 アップグレード手順 スタートガイド コンポーネントリファレンスガイド ユーザガイド 英語 フランス語のみで提供 サポートの充実度単一の企業がサポートを提供 ( 日本 海外 ) 日本 Talend 海外 Talend 実績 ユーザコミュニティ 開発者コミュニティ 7 冊 0 冊 検証あり 数千 ~1 万件以上ユーザ 開発者で分かれておらず 月ごとの集計もされていない 同上 歴史 商用ディストリビューションの有無 2012 年 2 月 Talend Open Studio for Big Data がリリース 2014 年 5 月時点で が最新 Talend Open Studio for Big Data(Talend) OSS ライセンス Apache License version 2.0 Copyright 2014 Japan OSS Promotion Forum 22

24 3-6. Fluentd データ収集 検知 [ 収集 ] 分析項目 機能概要 開発主体 マイナーリリース回数 パッチリリース数 ドキュメントの充実度 ( 英語 ) ドキュメントの充実度 ( 日本語 ) データストリームを処理するために設計されたデータコレクタ Treasure Data 12 回 マイナーリリースで代用 クイックスタートガイド インストールガイド FAQ クイックスタートガイド インストールガイド FAQ サポートの充実度単一の企業がサポートを提供 ( 海外 ) 海外 Treasure Data 実績 ユーザコミュニティ 開発者コミュニティ 歴史 商用ディストリビューションの有無 0 冊 0 冊 掲載なし 約 1000 件 Google Group で情報交換月ごとの集計やユーザ 開発者の区分けはない 同上 Treasure Data が中心となって開発 2014 年 5 月時点で が最新 OSS ライセンス Apache License Version 2.0 無安定版パッケージの td-agent が Treasure Data によりメンテナンスされている Copyright 2014 Japan OSS Promotion Forum 23

25 3-7. Flume データ収集 検知 [ 収集 ] 分析項目機能概要開発主体マイナーリリース回数パッチリリース数ドキュメントの充実度 ( 英語 ) ドキュメントの充実度 ( 日本語 ) サポートの充実度実績ユーザコミュニティ開発者コミュニティ歴史 大量のログデータを収集するためのツール Apache Software Foundation 1 回 108 件 ユーザガイド 開発者ガイド 英語版のみ 1 冊 0 冊 複数の企業がサポートを提供し 日本の企業も存在する 日本 Cloudera Japan 海外 Cloudera Hortonworks 掲載なし 1460 件 件 年 7 月の のリリースで Apache Incubator プロジェクトを卒業し Apache のトップレベルプロジェクトに昇格 2014 年 5 月時点で が最新 商用ディストリビューションの有無 CDH(Cloudera) HDP(Hortonworks) OSS ライセンス Apache License Version 2.0 Copyright 2014 Japan OSS Promotion Forum 24

26 3-8. Storm データ収集 検知 [CEP] 分析項目機能概要開発主体マイナーリリース回数パッチリリース数ドキュメントの充実度 ( 英語 ) ドキュメントの充実度 ( 日本語 ) サポートの充実度実績ユーザコミュニティ開発者コミュニティ歴史商用ディストリビューションの有無 分散リアルタイム処理システム Backtype Twitter Apache Software Foundation 1 回 3 件 チュートリアル マニュアル JavaDoc FAQ 英語版のみ 1 冊 0 冊 サポート企業がない 掲載なし 1653 件 件 Backtype が開発し Twitter がオープンソース化 2013 年 9 月に Apache Incubator プロジェクト 2014 年 5 月時点で が最新 無 OSS ライセンス Apache License Version 2.0 Copyright 2014 Japan OSS Promotion Forum 25

27 3-9. S4 データ収集 検知 [CEP] 分析項目機能概要開発主体マイナーリリース回数パッチリリース数ドキュメントの充実度 ( 英語 ) ドキュメントの充実度 ( 日本語 ) サポートの充実度実績ユーザコミュニティ開発者コミュニティ歴史商用ディストリビューションの有無 分散リアルタイムストリーム処理エンジン 米 Yahoo! Apache Software Foundation リリースノートが日付管理されていないため不明 リリースノートが日付管理されていないため不明 スタートガイド 設定ガイド 実行ガイド FAQ 英語版のみ 0 冊 0 冊 サポート企業がない ランク外 281 件 件 年 10 月に Yahoo! から初期リリース 2011 年の 9 月から Apache Incubator プロジェクト 2014 年 5 月時点で が最新 無 OSS ライセンス Apache License Version 2.0 Copyright 2014 Japan OSS Promotion Forum 26

28 3-10. Jubatus データ収集 検知 [CEP] 分析項目機能概要開発主体マイナーリリース回数パッチリリース数ドキュメントの充実度 ( 英語 ) ドキュメントの充実度 ( 日本語 ) オンライン機械学習向け分散処理フレームワーク NTT 株式会社プリファードインフラストラクチャ 7 回 42 件 インストールガイド チュートリアル 概要説明 FAQ コマンド集 API リファレンス インストールガイド チュートリアル 概要説明 FAQ コマンド集 API リファレンス 0 冊 0 冊 サポートの充実度複数の企業がサポートを提供 ( 日本 ) 日本 NTT NTT ソフトウェア 株式会社 Preferred Infrastructure 実績ユーザコミュニティ開発者コミュニティ歴史商用ディストリビューションの有無 導入あり 110 件 Google Group で情報交換月ごとの集計やユーザ 開発者の区分けはない 同上 株式会社 Preferred Infrastructure と NTT ソフトウェアイノベーションセンタが共同開発した 日本発のオープンソースプロダクト 2011 年 10 月に リリース 2014 年 5 月時点で が最新 無 OSS ライセンス Lesser General Public License Version 2.1 Copyright 2014 Japan OSS Promotion Forum 27

29 3-11. Esper(Java 版 ) データ収集 検知 [CEP] 分析項目機能概要開発主体マイナーリリース回数パッチリリース数ドキュメントの充実度 ( 英語 ) ドキュメントの充実度 ( 日本語 ) CEP やイベント解析のコンポーネント EsperTech 2 回 マイナーリリースで代用 リファレンスドキュメント API JavaDoc IO リファレンス IO API JavaDoc FAQ 英語版のみ 0 冊 0 冊 サポートの充実度単一の企業がサポートを提供 ( 海外 ) 海外 EsperTech 実績ユーザコミュニティ開発者コミュニティ歴史商用ディストリビューションの有無 導入多数 1042 件 件 年 1 月に EsperTech からアルファ版がリリース 2006 年 3 月にベータ版がリリース 2006 年 7 月に 1.0 がリリース が最新 (2014 年 5 月 ) Esper Enterprise Edition(EsperTech) OSS ライセンス General Public License Version 2.1 Copyright 2014 Japan OSS Promotion Forum 28

30 3-12. Drools Fusion データ収集 検知 [CEP] 分析項目機能概要開発主体マイナーリリース回数パッチリリース数ドキュメントの充実度 ( 英語 ) ドキュメントの充実度 ( 日本語 ) サポートの充実度実績ユーザコミュニティ開発者コミュニティ歴史商用ディストリビューションの有無 OSSライセンス ビジネスルール処理エンジン Drools に時間の概念を追加し CEP 機能を実現するモジュール Red Hat, Inc. 5 系 :1 回 6 系 :2 回 マイナーリリースで代用 インストール セットアップガイド 互換性情報 ユーザガイドなど コミュニティでは英語版のみ 4 冊 0 冊 複数の企業がサポートを提供し 日本の企業も存在する 日本 Red Hat, KK 多数の Red Hat パートナー企業 海外 Red Hat, Inc. 掲載なし 4376 件 件 年 5 月時点で が最新 Red Hat JBoss BRMS Red Hat JBoss BPM Suite(Red Hat, Inc.) Apache Software License Version2 Copyright 2014 Japan OSS Promotion Forum 29

31 3-13. Hadoop(MapReduce YARN HDFS) ビッグデータ蓄積 貯蔵 その他 [ 並列分散処理 データ蓄積ファイルシステム ] 分析項目機能概要開発主体マイナーリリース回数パッチリリース数 大量データを処理するための分散処理基盤 Apache Software Foundation Cloudera Hortonworks 1 系 :2 回 2 系 :7 回 マイナーリリースで代用 ドキュメントの充実度 ( 英語 ) ドキュメントの充実度 ( 日本語 ) サポートの充実度 実績 ユーザコミュニティ 開発者コミュニティ 歴史 商用ディストリビューションの有無 セットアップガイド コマンドリファレンス ユーザガイド API ドキュメント 各種機能概要 コミュニティでは英語版のみ 多数 多数 複数の企業がサポートを提供し 日本の企業も存在する 日本 Cloudera Japan NTT データ 日立ソリューションズ 新日鉄住金ソリューションズ 伊藤忠テクノソリューションズ HP ソフトバンク テクノロジー 海外 Cloudera Hortonworks 導入多数 8051 件 件 Doug Cutting 氏により開発 Nutch の開発において複数台マシンでクロール インデックス作成を行うために MapReduce と分散ファイルシステムが開発され これらが Hadoop としてスピンオフ 2006 年 2 月に Apache Hadoop プロジェクトが開始 2014 年 5 月時点では 1 系 : 系 :2.4.0 が最新 CDH(Cloudera) HDP(Hortonworks) OSS ライセンス Apache License Version 2.0 Copyright 2014 Japan OSS Promotion Forum 30

32 3-14. Spark ビッグデータ蓄積 貯蔵 その他 [ 並列分散処理 ] 分析項目機能概要開発主体マイナーリリース回数パッチリリース数 インメモリ処理を主体とする分散処理基盤 Apache Software Foundation UC Berkeley AMPLab Databricks 5 回マイナーリリースで代用 ドキュメントの充実度 ( 英語 ) ドキュメントの充実度 ( 日本語 ) クイックスタートガイド プログラミングガイド API ドキュメント ディプロイガイド その他 ( 設定 モニタ チューニング スケジューリング セキュリティ ハードウェアプロビジョニング ビルド方法 貢献方法 ) コミュニティでは英語版のみ 1 冊 0 冊 サポートの充実度単一の企業がサポートを提供 ( 海外 ) 海外 Cloudera 社を通して開発元の Databricks 社でサポート実施 実績 ユーザコミュニティ 開発者コミュニティ 歴史 商用ディストリビューションの有無 掲載なし 555 件 件 UB Berkeley の AMPLab で開発が始まり その開発メンバが Databricks 社を立ち上げそこを中心に開発が進められている 2013 年 6 月 Apache のインキュベータプロジェクト 2014 年 2 月 Apache トップレベルプロジェクト 2014 年 5 月 1.0 リリース CDH(Cloudera) OSS ライセンス Apache License Version 2.0 Copyright 2014 Japan OSS Promotion Forum 31

33 3-15. Lustre ビッグデータ蓄積 貯蔵 その他 [ データ蓄積ファイルシステム ] 分析項目機能概要開発主体マイナーリリース回数パッチリリース数ドキュメントの充実度 ( 英語 ) ドキュメントの充実度 ( 日本語 ) サポートの充実度実績ユーザコミュニティ開発者コミュニティ歴史商用ディストリビューションの有無 分散ファイルシステム Xyratex Intel コミュニティなど 2 回 マイナーリリースで代用 チュートリアル 概要 インストール 設定 管理 チューニング トラブルシューティング コミュニティでは英語版のみ 4 冊 0 冊 複数の企業がサポートを提供し 日本の企業も存在する 日本 HPC ソリューションズ 海外 Intel Xyratex ランク外 1350 件 73 件 年カーネギーメロン大学の研究者 Peter Braam 氏が開発同氏が Cluster File Systems を創業し開発が進められる 2007 年に Sun が同社を買収 Oracle による Sun 買収 (2010 年 ) により Oracle の管理下に入る 2010 年末に Oracle が Lustre 2 系の開発を打ち切ることを発表 Whamcloud や Open Scalable File Systems(OpenSFS) などがコミュニティベースでのサポートと開発を目指して立ち上る 2013 年 2 月 Xyratex は Lustre の資産などを買収 2.6 が最新 (2014 年 5 月 ) Intel Enterprise Edition for Lustre Software(Intel) Lustre をベースとした製品ライン ClusterStor (Xyratex) OSS ライセンス General Public License Version 2 Copyright 2014 Japan OSS Promotion Forum 32

34 3-16. GlusterFS ビッグデータ蓄積 貯蔵 その他 [ データ蓄積ファイルシステム ] 分析項目 機能概要 開発主体 マイナーリリース回数 パッチリリース数 ドキュメントの充実度 ( 英語 ) ドキュメントの充実度 ( 日本語 ) 汎用分散ファイルシステム Red Hat, Inc. 1 回 マイナーリリースで代用 スタートガイド コンセプト トラブルシューティング 管理者ガイド コミュニティでは英語版のみ サポートの充実度単一の企業がサポートを提供 ( 日本 海外 ) 日本 Red Hat, KK 海外 Red Hat, Inc. 実績 ユーザコミュニティ 開発者コミュニティ 歴史 商用ディストリビューションの有無 1 冊 0 冊 導入あり 3927 件 件 Gluster,Inc によって開発されてきたが 2011 年レッドハットによる Gluster 買収後はレッドハットにより開発 2014 年 5 月時点で が最新 Red Hat Storage Server(Red Hat, Inc.) OSS ライセンス General Public License Version 3 Copyright 2014 Japan OSS Promotion Forum 33

35 3-17. Ceph ビッグデータ蓄積 貯蔵 その他 [ データ蓄積ファイルシステム ] 分析項目 機能概要 開発主体 マイナーリリース回数 パッチリリース数 ドキュメントの充実度 ( 英語 ) ドキュメントの充実度 ( 日本語 ) オブジェクト ブロック ファイルストレージ用に設計されたストレージプラットフォーム Red Hat, Inc. 40 回 マイナーリリースで代用 インストールガイド API ドキュメント アーキテクチャ 開発用ドキュメント 用語集 コミュニティは英語版のみ サポートの充実度単一の企業がサポートを提供 ( 日本 海外 ) 日本 Red Hat, KK 海外 Red Hat, Inc. 実績 ユーザコミュニティ 開発者コミュニティ 歴史 商用ディストリビューションの有無 OSS ライセンス 0 冊 0 冊 導入多数 7978 件 件 Sage Weil 氏が博士卒業論文のテーマとして作成 2012 年 Ceph のプロフェッショナルサービスやサポートを行うため Inktank Storage 社を設立 2014 年 Red Hat 社は Inktank の Ceph 開発部門を買収 INKTANK CEPH ENTERPRISE(Red Hat, Inc.) Lesser General Public License Copyright 2014 Japan OSS Promotion Forum 34

36 3-18. Drill ビッグデータ蓄積 貯蔵 その他 [ 準リアルタイムクエリ ] 分析項目 機能概要 開発主体 マイナーリリース回数 パッチリリース数 ドキュメントの充実度 ( 英語 ) ドキュメントの充実度 ( 日本語 ) 大量のデータソースに対してローレイテンシーのアドホッククエリを提供 Apache Software Foundation MapR 1 回 56 件 提案 wiki アーキテクチャ ユーザディスカッションブログ コミュニティは英語版のみ サポートの充実度単一の企業がサポートを提供 ( 日本 海外 ) 日本 MapR 海外 MapR 実績 ユーザコミュニティ 開発者コミュニティ 歴史 商用ディストリビューションの有無 0 冊 0 冊 掲載なし 292 件 件 Google Dremel を元にしたオープンソースプロジェクト 2012 年 8 月に Apache Incubator プロジェクト 2014 年 5 月時点で m1-incubator が最新 OSS ライセンス Apache License Version 2.0 無 Copyright 2014 Japan OSS Promotion Forum 35

37 3-19. Hive ビッグデータ蓄積 貯蔵 その他 [ 準リアルタイムクエリ ] 分析項目 機能概要 開発主体 マイナーリリース回数 パッチリリース数 ドキュメントの充実度 ( 英語 ) ドキュメントの充実度 ( 日本語 ) サポートの充実度 実績 ユーザコミュニティ 開発者コミュニティ 歴史 商用ディストリビューションの有無 Hadoop 上のデータに対して集約 問い合わせ 分析を行う Facebook ほか 2 回 544 件 言語マニュアル JavaDoc コミュニティでは英語版のみ 4 冊 1 冊 複数の企業がサポートを提供し 日本の企業も存在する 日本 Cloudera Japan 海外 Cloudera Hortonworks 掲載なし 単独での掲載はなかったが Hadoop 内のカウントに含まれている可能性あり 3580 件 件 Facebook が開発をはじめ その後さまざまな団体が開発に参加 2014 年 5 月時点で 0.13 が最新 CDH(Cloudera) HDP(Hortonworks) OSS ライセンス Apache License Version 2.0 Copyright 2014 Japan OSS Promotion Forum 36

38 3-20. Impala ビッグデータ蓄積 貯蔵 その他 [ 準リアルタイムクエリ ] 分析項目機能概要開発主体マイナーリリース回数パッチリリース数ドキュメントの充実度 ( 英語 ) ドキュメントの充実度 ( 日本語 ) サポートの充実度実績ユーザコミュニティ開発者コミュニティ歴史商用ディストリビューションの有無 Hadoop 上で動作する MPP(Massive Parallel Processing) SQL エンジン Cloudera 9 回 55 件 インストールガイド アップグレードガイド 設定ガイド 起動ガイド セキュリティガイド FAQ 無 1 冊 0 冊 複数の企業がサポートを提供し 日本の企業も存在する 日本 Cloudera Japan MapR 海外 Cloudera MapR 掲載なし 約 1000 件以上 Google Group で情報交換月ごとの集計はない 開発者専用のコミュニティは見当たらない 2012 年 10 月にベータテスト版をリリース 2013 年 12 月に Amazon Web Service 対応 2014 年 5 月時点で が最新 CDH(Cloudera) OSS ライセンス Apache License Version 2.0 Copyright 2014 Japan OSS Promotion Forum 37

39 3-21. MIT Kerberos ビッグデータ蓄積 貯蔵 その他 [ セキュリティ / 認証 ] 分析項目機能概要開発主体マイナーリリース回数パッチリリース数ドキュメントの充実度 ( 英語 ) ドキュメントの充実度 ( 日本語 ) サポートの充実度実績ユーザコミュニティ開発者コミュニティ歴史商用ディストリビューションの有無 OSSライセンス ネットワーク認証プロトコル Kerberos の MIT 実装 MIT 6 回 139 件 ユーザ向け ( コマンドリファレンスなど ) 管理者向け ( インストール 設定など ) アプリケーション開発向け (API リファレンス ) プラグイン開発向け ビルドガイド コンセプト 特徴 MIT では英語のみ 多数 1 冊 サポート企業がない 掲載なし Active Directory など他の製品に含まれて使われているので実施の実績は多いと考えられる 901 件 件 年代に MIT で研究プロジェクトとして開始 2014 年 5 月時点で V が最新 無 Copyright 2014 Japan OSS Promotion Forum 38

40 3-22. OpenLDAP ビッグデータ蓄積 貯蔵 その他 [ セキュリティ / 認証 ] 分析項目機能概要開発主体マイナーリリース回数パッチリリース数ドキュメントの充実度 ( 英語 ) ドキュメントの充実度 ( 日本語 ) サポートの充実度実績ユーザコミュニティ開発者コミュニティ歴史商用ディストリビューションの有無 OSSライセンス ディレクトリデータベースにアクセスするためのプロトコル OpenLDAP プロジェクト 4 回 69 件 イントロダクション クイックスタートガイド ビルド インストール方法 設定 実行 アクセスコントロールなど 各種技術資料が日本 LDAP ユーザ会により提供 多数存在 多数存在 複数の企業がサポートを提供し 日本の企業も存在する 日本 野村総研 NEC 海外 sirius など 導入多数 3436 件 95 件 年ミシガン大学の LDAP リファレンス実装のクローンが出発点 2007 年 10 月に OpenLDAP2.4.6 が general use としてリリース 2014 年 5 月時点で が最新 無 OpenLDAP Public License Copyright 2014 Japan OSS Promotion Forum 39

41 3-23. Cassandra 高速化キャッシュ / スケールアウト [ インメモリ DG/ 分散 KVS] 分析項目機能概要開発主体マイナーリリース回数パッチリリース数ドキュメントの充実度 ( 英語 ) ドキュメントの充実度 ( 日本語 ) サポートの充実度実績 カラムファミリ型の分散 KVS であり SPOF が存在しない 書き込みが速いなどの特長がある Apache Software Foundation 1 系 :6 回 2 系 :7 回 特に提供されておらず マイナーリリースで対応 Cassandra Wiki マニュアル (DataStax Documentation) Cassandra Wiki JP 8 冊 2 冊 複数の企業がサポートを提供し 日本の企業も存在する 日本 INTHEFOREST konekto,inc. 海外 DataStax 社を中心に 10 数社 ( 導入あり ユーザコミュニティ 2126 件 ( ただし 2013 年 12 月 ~2014 年 3 月の 4 ヶ月分 調査時 2013/11 月以前はアーカイブから削除済み ) 開発者コミュニティ 843 件 (2013 年 4 月 ~2014 年 3 月 ) 歴史 商用ディストリビューションの有無 2008 年 7 月 OSS として公開 2009 年 3 月 Apache Incubator 2010/2 Apache TLP 昇格 2011 年 10 月 v 年 4 月 v 年 1 月 v 年 9 月 v 年 5 月 v2.1 DataStax 社 (DataStax Enterprise) OSS ライセンス Apache License Version 2.0 Copyright 2014 Japan OSS Promotion Forum 40

42 3-24. MongoDB 高速化キャッシュ / スケールアウト [ インメモリ DG/ 分散 KVS] 分析項目 機能概要 開発主体 JSON と親和性の高いドキュメント指向データベース MongoDB, Inc. マイナーリリース回数 19 回 (2.2 系 2.4 系 2.5 系 2.6 系を並行して開発 ) パッチリリース数ドキュメントの充実度 ( 英語 ) ドキュメントの充実度 ( 日本語 ) サポートの充実度実績 特に提供されておらず マイナーリリースで対応 マニュアル ほとんど存在しない 日本 MongoDB ユーザ会 20 冊以上 3 冊 単一の企業がサポートを提供し 日本の企業も存在する 日本 NRI 海外 MongoDB, Inc. 導入あり ユーザコミュニティ 1000 件 / 月以上 (MongoDB User Forum 2014 年 3 月分 投稿多数のため年度全件はカウントせず ) 開発者コミュニティ 274 スレッド /1000 件以上 (MongoDB Dev Forum 2013 年 4 月 ~2014 年 3 月 ) 歴史 商用ディストリビューションの有無 2007 年 9 月 10gen 社 ( 現 MongoDB, Inc.) が開発開始 2009 年 2 月初版 リリース 2009 年 8 月 v 年 9 月 v 年 5 月 ( 最新版 ):v2.6.1 MongoDB, Inc. OSS ライセンス GNU AFFERO GENERAL PUBLIC LICENSE V3.0 Copyright 2014 Japan OSS Promotion Forum 41

43 3-25. Infinispan 高速化キャッシュ / スケールアウト [ インメモリ DG/ 分散 KVS] 分析項目 機能概要 開発主体 マイナーリリース回数 パッチリリース数 ドキュメントの充実度 ( 英語 ) ドキュメントの充実度 ( 日本語 ) サポートの充実度 実績 ユーザコミュニティ 開発者コミュニティ 歴史 商用ディストリビューションの有無 データアクセスを高速化するインメモリデータグリッド JBoss Data Grid は Infinispan を元にした Red Hat 社製品 Jboss.org, Red Hat, Inc. 4 回 特に提供されておらず マイナーリリースで対応 User Guide, Getting Started Guide, FAQ, JavaDocs コミュニティサイトにはなし 1 冊 Infinispan に特化した書籍はない Infinispan のサポートを提供しているベンダーは見つからず 商用版 JBoss Data Grid に対しては 複数の Red Hat パートナー企業がサポートを提供し 日本の企業も存在する 日本 Red Hat KK および JBoss パートナー各社 海外 Red Hat, Inc. および JBoss パートナー各社 掲載なし 411 件 件 The infinispan-dev Archives 年に JBoss Cache として開発が始められた 2012 年 6 月 v 年 9 月 v 年 3 月 v 年 1 月 v 年 4 月 v6.2.1 Red Hat, Inc. (Red Hat JBoss Data Grid) OSS ライセンス Apache License Version 2.0 Copyright 2014 Japan OSS Promotion Forum 42

44 3-26. Redis 高速化キャッシュ / スケールアウト [ インメモリ DG/ 分散 KVS] 分析項目 機能概要 開発主体 インメモリ型の KVS Salvatore Sanfilippo 氏 マイナーリリース回数 10 回 (2.8 系 ) 1 回 (2.6 系 ) パッチリリース数 ドキュメントの充実度 ( 英語 ) ドキュメントの充実度 ( 日本語 ) 特に提供されておらず マイナーリリースで対応 プログラミングガイド 管理者ガイド クラスタ構築ガイド トラブルシュート 仕様書 管理者ガイド ユーザガイド 4 冊 1 冊 サポートの充実度 単一の企業がサポートを提供 ( 海外 ) 海外 Pivotal, Inc. (Pivotal Japan) 実績 検証あり ユーザコミュニティ 801 件 ( スレッド数 ) 開発者コミュニティ 歴史 商用ディストリビューションの有無 開発者用コミュニティは見つからなかった Salvatore Sanfilippo 氏によって 2009 年に公開されたインメモリベースの KVS 2010 年 3 月に VMware が同氏を雇い入れ 現在は EMC と VMware が共同設立した Pivotal 社のもと開発中マイナーバージョン番号が奇数のものは unstable 版 ( 例 2.9.x) 偶数が stable 版である Pivotal, Inc. OSS ライセンス three clause BSD license Copyright 2014 Japan OSS Promotion Forum 43

45 3-27. Riak 高速化キャッシュ / スケールアウト [ インメモリ DG/ 分散 KVS] 分析項目 機能概要 開発主体 マイナーリリース回数 パッチリリース数 ドキュメントの充実度 ( 英語 ) 分散 KVS Basho Technologies 8 回 特に提供されておらず マイナーリリースで対応 開発ガイド 運用ガイド コンセプト FAQ API ガイド ドキュメントの充実度 ( 日本語 ) 存在を確認できず (Basho Japan のリンク先ドキュメントも英語 ) サポートの充実度 実績 ユーザコミュニティ 開発者コミュニティ 1 冊 なし 単一の企業がサポートを提供し 日本の企業も存在する 日本 Basho Japan, 東京エレクトロンデバイス 海外 Basho Technologies, Inc. 掲載なし 3379 件 開発者用の ML は確認できず 歴史 商用ディストリビューションの有無 2012 年 2 月 Basho が Riak 1.1 リリースをアナウンス 2014 年 8 月現在の最新版は Riak Enterprise (Basho Technologies, Inc.) OSS ライセンス Apache License Version 2.0 Copyright 2014 Japan OSS Promotion Forum 44

46 3-28. HBase 高速化キャッシュ / スケールアウト [ インメモリ DG/ 分散 KVS] 分析項目機能概要開発主体マイナーリリース回数パッチリリース数ドキュメントの充実度 ( 英語 ) ドキュメントの充実度 ( 日本語 ) サポートの充実度実績ユーザコミュニティ Hadoop 上で動作する列指向 KVS Apache Software Foundation 12 回 特に提供されておらず マイナーリリースで対応 スタートガイド API ガイド (User API, Developer API) FAQ Wiki 特になし 3 冊 1 冊 複数の企業がサポートを提供し 日本の企業も存在する 日本 Cloudera Japan( 日立ソリューションズ 新日鉄ソリューションズ, 伊藤忠テクノソリューションズ, ソフトバンク テクノロジー ), NTT データ, HP(HP Hadoop HBase サービス ) 海外 Cloudera. Hortonworks など 導入多数 7277 件 開発者コミュニティ 歴史 商用ディストリビューションの有無 9223 件 /2 Hadoop にバンドルされる形でリリースその後単独リリースに変わり 最新版は (2014 年 8 月現在 ) Cloudera Enterprise(Cloudera.), HDP(Hortonworks) など OSS ライセンス Apache License Version 2.0 Copyright 2014 Japan OSS Promotion Forum 45

47 3-29. Mahout データ分析 [ 機械学習 ] 分析項目 機能概要 開発主体 マイナーリリース回数 2 回 (0.8, 0.9) パッチリリース数 ドキュメントの充実度 ( 英語 ) ドキュメントの充実度 ( 日本語 ) サポートの充実度 実績 ユーザコミュニティ 開発者コミュニティ 歴史 商用ディストリビューションの有無 Hadoop 上で動作する機械学習ライブラリ数十種類の学習アルゴリズムが提供されている Apache Software Foundation 特に提供されておらず マイナーリリースで対応 Overview, Quickstart, FAQ, Release Notes ほとんど存在しない 2 冊 1 冊 商用ディストリビューションについては複数の企業がサポートを提供し 日本の企業も存在する 日本 Cloudera Japan( 日立ソリューションズ 新日鉄ソリューションズ ) 海外 Cloudera. Hortonworks など 掲載なし 3148 件メーリングリスト 件メーリングリスト 年 4 月 : 初版 0.1 リリース 2014 年 2 月 : v0.9(2014 年 8 月現在の最新版 ) Cloudera Enterprise(Cloudera.), HDP(Hortonworks) など OSS ライセンス Apache License Version 2.0 Copyright 2014 Japan OSS Promotion Forum 46

48 3-30. R データ分析 [ 統計解析 ] 分析項目 機能概要 開発主体 統計解析向けのプログラミング言語及びその開発実行環境 マイナーリリース回数 4 回 (3.0.0, 3.0.1, 3.0.2, 3.0.3) パッチリリース数 ドキュメントの充実度 ( 英語 ) The R Foundation for Statistical Computing ( 開発者向けに ほぼ毎日パッチが当てられた開発版ソースが公開されているが 利用は正式リリースバージョンを推奨している ftp://ftp.stat.math.ethz.ch/software/r/ Manual, FAQ, Wiki ドキュメントの充実度 ( 日本語 ) ほとんど存在しない ( 研究機関がボランティアで作成した関数ガイドやドキュメントが散在 ) 多数 (20 冊以上 ) 多数 (20 冊程度 ) サポートの充実度 サポート企業はない (R を活用したパッケージ製品等は存在 ) 実績 ユーザコミュニティ 開発者コミュニティ 歴史 導入あり 件メーリングリスト R-help@r-project.org 2473 件メーリングリスト r-devel@r-project.org 1997 年 ニュージーランドのオークランド大学の Ross Ihaka 氏と Robert Clifford Gentleman 氏により 0.49 をリリースその後 R Core Development team によりエンハンスが続けられ 2014 年 8 月時点の最新バージョンは 商用ディストリビューションの有無なし ( 統計パッケージ内やソリューションで利用されているケースは存在 ) OSS ライセンス GNU General Public License Version 2, Version 3 Copyright 2014 Japan OSS Promotion Forum 47

49 3-31. Pentaho データ分析 [BI ツール ] 分析項目 機能概要 開発主体 分析 レポーティング ダッシュボード ETL 機能などを備えた BI ツール Pentaho Corporation マイナーリリース回数 1 回 ( 年間 1~2 回 Stable 版のみリリース ) パッチリリース数 ドキュメントの充実度 ( 英語 ) なし Wiki ドキュメントの充実度 ( 日本語 ) 製品説明資料 技術資料 導入事例 ( 日本の Pentaho 代理店が日本語ドキュメントを公開 ) 11 冊 0 冊 (BI をテーマにした関連書籍はある ) サポートの充実度 実績 商用ディストリビューションについては複数の企業がサポートを提供し 日本の企業も存在する 日本 KSK アナリティクス NRI 海外 Pentaho Corporation 他 パートナー数十社 検証あり ユーザコミュニティ数千 ~1 万件以上 ( コンポーネント別の合計 ) ユーザフォーラム 開発者コミュニティ 157 件開発者フォーラム 歴史 商用ディストリビューションの有無 2007 年 2 月 : 初版 stable リリース 2009 年 1 月 : stable 2009 年 5 月 : stable 2012 年 5 月 : stable 2013 年 11 月 : stable Pentaho Enterprise (Pentaho Corporation) OSS ライセンス GNU General Public License Version 2 Copyright 2014 Japan OSS Promotion Forum 48

50 3-32. JasperReports データ分析 [BI ツール ] 分析項目 機能概要 帳票および BI ツール 開発主体 Jaspersoft 社 (2014 年 4 月に買収され 米 TIBCO Software 社の 1 部門となった ) マイナーリリース回数 パッチリリース数 ドキュメントの充実度 ( 英語 ) 5 回 特に提供されておらず マイナーリリースで対応 ユーザガイド 管理ガイド Getting Started, Tutorial, FAQ, Configuration Reference, API Docs など ドキュメントの充実度 ( 日本語 ) 製品マニュアル ( ワークブレインジャパンが公開 ) サポートの充実度 実績 7 冊 なし 複数の企業がサポートを提供し 日本の企業も存在する 導入あり ユーザコミュニティ 3647 件 ( スレッド数 ) 開発者コミュニティ 歴史 特になし Bug Tracker は公開されている 年 11 月 : v 年 7 月 : v 年 8 月 : v 年 5 月 : v 年 1 月 : v 年 11 月 : v 年 5 月 : v 商用ディストリビューションの有無あり (Jaspersoft 社 ) OSS ライセンス GNU Lesser General Public License Version 3 Copyright 2014 Japan OSS Promotion Forum 49

51 3-33. PostgreSQL データ分析 [ 定型業務 RDB] 分析項目 機能概要 開発主体 マイナーリリース回数 パッチリリース数 ドキュメントの充実度 ( 英語 ) リレーショナルデータベース PostgreSQL コミュニティ 10 回 特に提供されておらず マイナーリリースで対応 オンラインマニュアル FAQ Wiki ドキュメントの充実度 ( 日本語 ) オンラインマニュアル ( 日本 PostgreSQL ユーザ会 ) サポートの充実度 実績 ユーザコミュニティ 多数 多数 複数の企業がサポートを提供し 日本の企業も存在する 導入多数 件以上複数の分野別メーリングリストが存在し pgsql-general だけでも数百件 / 月の投稿 開発者コミュニティ 3500 件 (pgsql-committers のみ ) 主なメーリングリスト pgsql-committers 歴史 商用ディストリビューションの有無 OSS ライセンス 1986 年カリフォルニア州 UC バークレー校のマイケル ストーンブレーカー氏のプロジェクトが発端 2005 年 1 月 : v 年 9 月 : v 年 9 月 : v9.3 PostgreSQL をベースに機能強化を図った EnterpriseDB PowerGres などがある PostgreSQL License Copyright 2014 Japan OSS Promotion Forum 50

52 3-34. MySQL データ分析 [ 定型業務 RDB] 分析項目 機能概要 開発主体 マイナーリリース回数 パッチリリース数 用途に応じたストレージエンジンを選択できるリレーショナルデータベース Oracle 12 回 特に提供されておらず マイナーリリースで対応 ドキュメントの充実度 ( 英語 ) リファレンスマニュアル一式 ( チュートリアル サーバ管理者ガイド SQL 構文 ストレージエンジン FAQ など ) ドキュメントの充実度 ( 日本語 ) サポートの充実度 実績 5.1 は日本語版マニュアルあり 多数 多数 複数の企業がサポートを提供し 日本の企業も存在する 導入多数 ユーザコミュニティ 1235 件 (General Discussion, Cluster, Replication, Backup, InnoDB Storage Engine の合計 ) 開発者コミュニティ 28 件 (Internals フォーラムをカウント ) 歴史 商用ディストリビューションの有無 OSS ライセンス 2001 年 1 月 : MySQL AB が最初の Version 3.23 をプロダクションリリース 2008 年 2 月 : サンマイクロシステムズ社が MySQL AB を買収 2010 年 1 月 : オラクル社がサンマイクロシステムズ社を買収 2013 年 2 月 : Version 5.6 をリリース 2014 年 8 月 : MySQL Oracle 社 MySQL Enterprise GPL および商用ライセンスのデュアルライセンス Copyright 2014 Japan OSS Promotion Forum 51

53 3-35. VoltDB データ分析 [ インメモリ DB] 分析項目機能概要開発主体マイナーリリース回数パッチリリース数ドキュメントの充実度 ( 英語 ) PostgreSQL に携わったマイケル ストーンブレーカーにより設計されたインメモリデータベーススケーラビリティ 信頼性 高可用性 高スループットに重点を置いている VoltDB, Inc. 3 系 : 8 回 4 系 : 1 回 マイナーリリースで対応 リリースノート チュートリアル ユーザガイド 管理者ガイド サイジングガイド 性能ガイド Do's and Don'ts ドキュメントの充実度 ( 日本語 ) サポートの充実度 単一の企業がサポートを提供 ( 海外 ) 実績 ユーザコミュニティ なし なし なし ランク外 489 件 開発者コミュニティ 歴史 商用ディストリビューションの有無 開発者用コミュニティは見つからなかった 2010 年 3 月 : リリース 2010 年 5 月 : リリース 2011 年 10 月 : 2.1 リリース 2013 年 5 月 : 3.3 リリース 2013 年 12 月 : 4.0 リリース 2014 年 8 月 : 4.6 リリース VoltDB, Inc. OSS ライセンス GNU General Public License Version 3 Copyright 2014 Japan OSS Promotion Forum 52

54 3-36. Hinemos 運用管理 監視 分析項目 機能概要 開発主体 マイナーリリース回数 パッチリリース数 ドキュメントの充実度 ( 英語 ) ドキュメントの充実度 ( 日本語 ) サポートの充実度 実績 ユーザコミュニティ 開発者コミュニティ 歴史 商用ディストリビューションの有無 稼働監視機能 性能監視 ジョブ管理機能を持つ運用管理ソフトウェア NTT データ 4 回 特に提供されておらず マイナーリリースで対応 ユーザマニュアル インストールマニュアル 管理者ガイド ユーザマニュアル インストールマニュアル 管理者ガイド なし 1 冊 複数の企業がサポートを提供し 日本の企業も存在する NTT データおよびパートナー各社 導入多数 36 件 開発者用コミュニティは見つからなかった 2004 年独立行政法人情報処理推進機構 (IPA) の 2004 年度下期オープンソースソフトウェア活用基盤整備事業の委託を受けて開発 年 3 月 : v 年 6 月 : v 年 4 月 : v 年 1 月 : v4.1.1 NTT データおよびパートナー各社より保守 導入 研修サービスが提供されている OSS ライセンス GNU General Public License Version 2 Copyright 2014 Japan OSS Promotion Forum 53

55 3-37. Zabbix 運用管理 監視 分析項目 機能概要 開発主体 様々なネットワークサービス サーバ その他のネットワークハードウェアのステータスを監視 追跡するための運用監視ソフトウェア Zabbix SIA マイナーリリース回数 43 回 (Release Candidate 版含む ) パッチリリース数 ドキュメントの充実度 ( 英語 ) ドキュメントの充実度 ( 日本語 ) サポートの充実度 実績 ユーザコミュニティ 開発者コミュニティ 歴史 特に提供されておらず マイナーリリースで対応 マニュアル フォーラム Wiki ブログ リリースノート マニュアル 2 冊 2 冊 複数の企業がサポートを提供し 日本の企業も存在する 導入多数 メーリングリスト 220 件 zabbix-users@lists.sourceforge.net ユーザフォーラム数千件以上 開発者用コミュニティは見つからなかった アレクセイ ウラジシェフ (Alexei Vladishev) 氏によって作られ 現在は氏が設立した Zabbix SIA によって開発が継続されている 2004 年 3 月 : v 年 5 月 : v 年 5 月 : v2.2.3 商用ディストリビューションの有無 Zabbix SIA, Zabbix SIA JP 他パートナー MIRACLE ZBX(Zabbix ベースに改良した商用版 ) OSS ライセンス GNU General Public License Version 3 Copyright 2014 Japan OSS Promotion Forum 54

56 3-38. ビッグデータ関連 OSS システム俯瞰図 商用ディストリビューションを追記したシステム俯瞰図 データソース データ収集 検知 ビッグデータ蓄積 貯蔵 その他 データ分析 Web データ 売上情報など ManifoldCF Nutch クローラ 並列分散処理 Hadoop MR(CDH,HDP) Hadoop YARN(CDH,HDP) Spark(CDH) 機械学習 Mahout(CDH, HDP) 統計解析 解析ツール 構造化データ ( 業務 RDB) データロード Sqoop(CDH,HDP) Talend(Talend Open Studio for Big Data) データ蓄積ファイルシステム Hadoop HDFS(CDH,HDP) Lustre(Intel Enterprise Edition for Lustre Software) GlusterFS(Red Hat Storage Server) Ceph(INKTANK CEPH ENTERPRISE) 準リアルタイムクエリ Drill Hive(CDH HDP) Impala(CDH) データロード R 言語 分析 / 可視化ツール BI ツール センサデータ システムログ音声画像 非構造化データ 収集 Fluentd Flume(CDH,HDP) CEP Storm Apache S4 Jubatus Esper Drools Fusion(JBoss BRMS) セキュリティ / 認証 MIT Kerberos OpenLDAP 高速化キャッシュ / スケールアウト インメモリ DG/ 分散 KVS Cassandra (DataStax Enterprise) MongoDB (MongoDB Enterprise) Infinispan (JBoss Data Grid) Redis Riak(Riak Enterprise) HBase(CDH, HDP) Sqoop(CDH HDP) 分析用データ Pentaho JasperReports 定型業務 RDB MySQL PostgreSQL (PowerGres, EnterpriseDB) インメモリ DB VoltDB DWH マートレス DB OSS で著名なものはない 運用管理 監視 Hinemos Zabbix(MIRACLE ZBX) 企業にて利用を検討する場合に重要な商用 OSS ディストリビューション / サポートサービスの有無もマッピングした また ここには挙げないが各領域に商用製品も存在する それらも含めて自社に最適な選択肢を検討すべきである Copyright 2014 Japan OSS Promotion Forum 55

57 4. 考察とまとめ Copyright 2014 Japan OSS Promotion Forum 56

58 4-1. コミュニティ活発度と導入実績マップ 実績多 MySQL PostgreSQL Hinemos 導入実績多数 Esper Zabbix Hadoop OpenLDAP Jasper Reports HBase Ceph 導入実績あり MongoDB Cassandra Jubatus GlusterFS R 100 件 500 件 1000 件 ユーザコミュニティ活発度 ( 投稿件数 / 年 ) 不活発 検証多数 活発 検証実績あり Redis Talend Pentaho S4 VoltDB Infinispan ランク外 Lustre データ収集 検知ビッグデータ蓄積 貯蔵 その他高速化キャッシュ / 分散 KVS データ分析運用管理 監視 Drill 少 掲載なし Spark MIT Kerberos Impala ManifoldCF Fluentd Drools Fusion Mahout Storm Nutch Sqoop Flume Hive Riak Copyright 2014 Japan OSS Promotion Forum 57

59 4-1. コミュニティ活発度と導入実績マップ 実績多 MySQL PostgreSQL Hinemos 導入実績多数 Esper Zabbix Hadoop OpenLDAP Jasper Reports HBase Ceph 導入実績あり MongoDB Cassandra Jubatus GlusterFS R 100 件 500 件 1000 件 ユーザコミュニティ活発度 ( 投稿件数 / 年 ) 不活発 検証多数 普及 活発 検証実績あり Redis Talend Pentaho データ収集 検知ビッグデータ蓄積 貯蔵 その他高速化キャッシュ / 分散 KVS データ分析運用管理 監視 S4 VoltDB Drill Infinispan ランク外 少 掲載なし Spark 進化 MIT Kerberos Impala ManifoldCF Fluentd Drools Fusion Lustre Mahout Storm Nutch Sqoop Flume Hive Riak Copyright 2014 Japan OSS Promotion Forum 58

60 4-2. 考察 新技術ウォッチ領域 かつて Google 発の MapReduce 論文が Hadoop として実装され広まったように Web 企業発の新技術が OSS として出現する領域 (Drill, Giraph など ) Apache Incubator プロジェクトの動きをウォッチしておくのも一つの手段 先行検討 / アーリーアダプト領域 新技術として生まれた OSS が進化し 現在はビッグデータ関連 OSS の多くがこの領域に位置する 実績は少ないが その分 他社に先んじて活用すれば 自社ビジネスの差別化 / 競争力強化に繋がる可能性がある 開発は非常に活発で 新機能追加やアップデートも早い しかし一方で その進化のメリットを享受するには 動きにキャッチアップしていく体制や技術力も必要となる 商用ディストリビューションベンダーが存在するならば利用も選択肢のひとつ エンタープライズ適用領域 ほぼ安定して利用することが可能 ほとんどの OSS について 商用ディストリビューション / 商用サポートベンダーが存在するため コストや信頼性を勘案の上活用する Copyright 2014 Japan OSS Promotion Forum 59

61 4-3. マイナーリリース回数マップ 0~3 回 4~6 回 7~12 回 13 回以上 Flume Talend Sqoop Nutch ManifoldCF Jubatus Fluentd Storm Esper Spark Hadoop Drools Fusion OpenLDAP Kerberos Impala Ceph GlusterFS Lustre Infinispan Riak Redis Cassandra Drill Hive R Jasper Reports PostgreSQL HBase MongoDB Pentaho Mahout Hinemos MySQL Zabbix VoltDB 少 マイナーリリース回数 多 エンハンスが少ないため安定して利用しやすい 開発が活発でないケースがある ( 生まれたばかりの OSS/ 枯れた OSS) 修正版発行までの期間が空く場合がある ベンダー開発主導で 意図的に安定版のみリリースしているため 回数が少ない場合もある エンハンスが活発であり 進化スピードが速い 開発速度にキャッチアップしていくには 活用の仕方や体制の準備が必要 不具合対策が速い 品質の善し悪しについては見極めが重要 Copyright 2014 Japan OSS Promotion Forum 60

62 4-4. 分野別考察 分野名 データ収集 検知 クローラ 分散処理でクロールを行うのであればHadoopと親和性のある Nutchを検討が考えられるが あまり大規模なものでなければ ManifoldCFや各種フレームワークの使用も可能 ただ Nutchの場合はリリース頻度が少なく ManifoldCFの場合はユーザコミュニティのメール件数が少なく 注目度が高い領域とは考えにくい データロード CEP 収集 考察 Talend Sqoop ともにデータロードにおいて有効なツールであり 利用用途に応じて使用の判断をするべき Drools Fusion Esper に関しては開発歴史があり 商用ディストリビューションもあるため安定していることが考えられるが その他に関しては商用ディストリビューションもなく 0 系のバージョンであることから発展中の分野と考えられるため 商用導入は十分な検証を行った方がよいと思われる データ蓄積先との親和性を考慮し 使用する OSS を選択する必要がある ビッグデータ蓄積 貯蔵 その他 並列分散処理 分散処理としてはYARNが基盤になりつつあり その上でSparkな どの新しい分野が台頭しはじめているが 商用として安定して導 入するにはもう少し成熟する時間が必要と考えられる データ蓄積ファイルシステム 準リアルタイムクエリ どの分散ファイルシステムも開発歴史があり 商用サポートも存在するため 適応領域の判断が選択のキーとなる 各社開発競争を行っている状況であり 発展中の技術領域であるため商用導入には適応ケースの検討をはじめ 十分な検証が必要と考えられる セキュリティ / 認証開発歴史も古く 枯れた領域であるため MIT Kerberos OpenLDAP ともに商用導入のリスクは低いと考えらえる Copyright 2014 Japan OSS Promotion Forum 61

63 4-5. 分野別考察 分野名 高速化キャッシュ / スケールアウト インメモリDG/ 分散 KVS 大きく NoSQL NewSQL と括られているが それぞれ特性が異なる 例えば Consistency( 一貫性 ) を犠牲にしていたり SQL 利用の可否など 従来のRDBを想定していると問題に突き当たる場合がある よって 自社利用する場合には 課題と目的を整理したうえでの事前検証が重要と考える データ分析 ( 解析ツール ) 機械学習 / 統計解析 OSSではMahout, Rがほぼデファクトスタンダード化している 関連書籍も多数存在するため 利用するにはほとんど支障はないと考える むしろ 何をどう分析して何を得るか を検討することが課題となる データ分析 ( 分析 / 可視化ツール ) BIツール この分野で著名なPentaho, JasperReportsは 実質商用ディスト リビューションベンダーが開発しているため 企業利用において はコミュニティ版 商用版の双方を検討すべきだろう 分析用データ 定型業務 RDB MySQL, PostgreSQLについては 開発の歴史も長く 商用製品 にも引けを取らない部分が多い ただし ビッグデータを取り扱う 場合には 運用管理や性能の事前検証を行うことを推奨したい インメモリ DB DWH マートレス DB 考察 比較的新しい分野であり また商用製品にもインメモリ DB は多数存在する 用途 コスト 信頼性 サポート力などを総合的に勘案して OSS の採否を検討すべきである OSS に DWH を謳っているものは存在しなかった 本格的な DHW は 商用製品に一日の長があると考える システム全体 運用管理 監視 データ量 / サーバ台数が増え 業務システムで本格利用する段階になると運用管理が必須となる また 既存システムと統合した管理が必要なケースもあるだろう 既に利用している運用管理 ツールとの親和性や連携可否の検討が必要と考える Copyright 2014 Japan OSS Promotion Forum 62

64 4-6. まとめ ビッグデータ関連 OSS については それぞれの進化はもちろんのこと OSS 間の連携機能や組み合わせた使い方が増加している 今回 ビッグデータの生成から分析まで システム全体像を俯瞰した実態を明らかにした ビッグデータ関連 OSS の企業への導入実績は Linux や Tomcat 等の伝統的な OSS と比較して まだ少ない状況である ( ただしベンダー企業へのヒアリング調査結果 ) しかし 多くのコミュニティは活発で 新機能や不具合修正が盛り込まれたバージョンが次々とリリースされている実態が把握できた さらに その実態の捉え方に対する一見解を示した かつて Google 社の MapReduce, BigTable から Apache Hadoop, HBase が OSS として実装され普及した さらに Apache Giraph(Google Pregel の実装 ), Apache Drill(Google Dremel の実装 ) なども現れている その意味で 商用製品の後追いで進化してきた OS や RDBMS と異なり ビッグデータ領域は OSS が切り拓いていく と捉えることもできる ウェブ企業発のテクノロジーには今後も注目要と考える Hinemos Jubatus などの日本発 OSS については 実績はあるがメーリングリストに投稿される件数をもとにしたコミュニティ活発度は世界的な OSS と比較すると少ない傾向にある この点は日本発 OSS の課題と考えられる Copyright 2014 Japan OSS Promotion Forum 63

65 4-7. ユーザ ベンダーへの提言 ユーザへの提言 OSS の中でも ビッグデータ関連 OSS は 進化がとりわけ速いことが今回確認できた これはユーザ企業にとってメリットとデメリットの双方をもたらす 世界中の開発者の叡智を注ぎ込んだ OSS の進化を IT システムの適材適所に活用することで ビッグデータから新たなビジネス価値を生み出し 多くのメリットを得られるだろう しかし 最先端に追従していくための技術力 スピード 新機能追加に伴って発生する不具合や互換性問題への対応も必要となる また マニュアルの整備が追いついていない あるいは記載されていない注意事項等もあり コミュニティの Q&A 対応などは不具合解決の重要な情報ソースとなる 場合によっては ソース解析力も必要だろう 使用する OSS を選定する上で考慮すべき要素と考える ベンダーへの提言 もはや OSS 単体では ビッグデータシステムは構築できない OSS システム全体像とそれぞれの特長をつかむ 目利き力 お客様に対する適材適所の 提案力 構築 サポートサービスや付加価値を提供できる 技術力 が問われる Copyright 2014 Japan OSS Promotion Forum 64

66 本資料の内容 表記に関する誤り ご要望 ご感想 質問などにつきましては日本 OSS 推進フォーラムクラウド技術部会のメールを通じてお寄せいただきますようお願いいたします メールアドレス その他 本資料に記載されている社名及び商品名はそれぞれ各社が商標または登録商標として使用している場合があります Copyright 2014 Japan OSS Promotion Forum 65

67 Copyright 2014 Japan OSS Promotion Forum