ビッグデータに対する日立ソリューションズの取組み

Size: px

Start display at page:

Download "ビッグデータに対する日立ソリューションズの取組み"

あおしつまがみ
4 years ago
Views:

1 Prowise Business Form in Tokyo 第 58 回日立ソリューションズセッション 1 ビッグデータに対する日立ソリューションズの取組み ~ Enterprise で活用するビッグデータ ~ 2012/04/19 株式会社日立ソリューションズ技術開発本部オープンソース技術開発センタ吉田行男

2 ビッグデータに対する日立ソリューションズの取組み ~ Enterpriseで活用するビッグデータ~ Contents 1. ビッグデータを取り巻く環境 2. 日立ソリューションズの取り組み 3. Enterpriseへの適用に向けて

3 0 自己紹介役割 / 活動内容 OSSを活用するビジネスのための支援主に新しい技術 /OSSの発掘評価検証ビジネスソリューションの立ち上げ支援現在特にフォーカスしている領域クラウドクラウドの運用自動化 (CloudStack, OpenStack, ) 仮想デスクトップ (VERDE, RHEV-D, ) 既存 COBOL 資産の活用 (OpenCOBOL) ビッグデータ関連 Hadoop 導入支援ベンチマーク KVS,NoSQL 関連評価業務バッチ処理の高速化 (Asakusa Framework) Red Hat Enterprise Virtualization for Desktops 2

4 ビッグデータに対する日立ソリューションズの取組み ~ Enterpriseで活用するビッグデータ ~ 1. ビッグデータを取り巻く環境

5 1-1 ユーザ企業におけるビッグデータの対応状況ユーザ企業におけるビッグデータの対応状況 0% 20% 40% 60% 80% 100% 非ベンダ企業 22.9% 17.7% 4.9% 42.5% 11.5% まだまだ発展段階ビッグデータ ( 大量データ ) を既に保有し業務に利活用しているビッグデータ( 大量データ ) を既に保有しているが有効に利活用できていないビッグデータ( 大量データ ) が業務で発生しているが保有蓄積できていないビッグデータ( 大量データ ) と呼べるだけのデータが業務でデータが発生していないその他分からない出典 :IPA 発行くらしと経済の基盤としてのITを考える研究会報告書 4

6 1-2 大量データ利用の目的大量データ ( ビッグデータ ) 利用の目的事業成果への直接的な向上改善を目的としたものが上位に分析手法が不十分? 出典 :IPA 発行くらしと経済の基盤としての IT を考える研究会報告書 5

7 1-3 課題課題となる要因順位 1 大量データを分析する人材不足課題必要性 2 社内団体内において大量データを処理するためにシステム基盤の強化 3 大量データを利用活用する際の権利関係について明確な規定がない 4 大量データを管理するために運用負荷の増大 5 社内団体内において高度な分析を実現するためのマイニングシステムなどを未導入 6 社内団体内において取得するデータ精度向上の必要性要員の確保育成が急務出典 :IPA 発行くらしと経済の基盤としての IT を考える研究会報告書 6

8 1-4 ベンダの取り組み状況 ( ソリューション編 ) 年年年月社名内容 9 月日本 IBM Webベースの分析用画面 BigSheets を標準実装したHadoopベースの大容量データ活用プラットフォームの新版 IBM InfoSphere Biginsights Enterprise Edition V1.2 を提供開始 EMC ジャパン日立製作所 Hadoop 互換の大容量データ活用プラットフォーム EMC Greenplum HD Enterprise Edition(EE) をリクルートに先行導入国立遺伝学研究所において Hadoop を使った大量ゲノムデータの分散処理環境を試作し従来システムの約 20% のコストで同等性能を達成 10 月米オラクル Hadoopやオラクルデータベースとの連携機能を実装したアプライアンス製品 Oracle Big Data Appliance を発表米マイクロソフト米ホートンワークスとの連携により Windows Azure と Windows Server 向けの Hadoop ディストリビューションを提供することを表明 12 月日本 HP HadoopとHadoop 用のデータベース HBase Hadoopの監視機能等を実装したシステムを提供する HP Hadoop HBaseサービスを発表 1 月 EMC ジャパン Hadoop 互換の大容量データ活用プラットフォーム EMC Greenplum HD EE の国内販売を開始ノーチラステクノロジーズ NEC 富士通 EMC ジャパンと協業し Hadoop 互換の Greenplum HD EE と Asakusa Framework を組合せた高速バッチ処理ソリューションを販売システム設計から構築運用までを支援する OSS ミドルウェアサポートサービスの対象に Hadoop を追加 Hadoop 等をコア機能として備える PaaS データ活用基盤サービスの提供を開始 2 月日立製作所ブレードサーバへのHadoopへの導入や設定を手掛けるインストールサービス for Hadoop プラットフォーム設定サービス for Hadoop を開始クラウデラ日本法人の設立を発表 3 月日立製作所ビッグデータの利活用に関する基盤技術群を Field to Future Technology として新たに体系化 7

9 1-5 ベンダの取り組み状況 ( 組織編 ) ビッグデータ専任組織社名人数内容時期 NEC 50 営業研究開発部門から要員を選抜育成などを通じ今後 3 年間で要員を200 人に増やす予定 NTTデータ 90 数理システムを買収しデータ分析要員を拡充 2012 年度は10 人程度の要員を育成 CTC 15 エンジニア及びデータ分析要員で推進部門を発足海外ベンダへの派遣などで要員の育成を予定日本オラクル日本 HP 新日鉄ソリューションズ日立非公開営業製品部門の要員を中心に構成コンサルティング部門に対する教育を実施非公開コンサルティングエンジニアデータ分析要員で構成 60 コンサルティングエンジニア研究開発部門の要員で構成 200 超ビッグデータの利活用に関する専門家データ分析に関する研究者コンサルタント及び SE で構成 2012/2 2012/2 2011/ / / /7 2012/3 8

10 1-6 OSS 最新動向調査 (1) Linux Foundation SI Forum が実施した 2010 年度オープンソースソフトウェア導入実績調査から 1 調査概要調査期間 :2011/3 ~ 2011/4 調査対象期間 :2010 年度 (2010/4~2011/3) 参加企業 (7 社 ) : NEC ソフト株式会社株式会社 NTT データデル株式会社東芝ソリューション株式会社株式会社日立製作所株式会社日立ソリューションズ富士通株式会社 9

11 1-7 OSS 最新動向調査 (2) 2 結果分野結果仮想化 KVM の躍進!( 前回 : ランク外今回 : 検証実績多数 ) ディストリビューションのサポート向上様々な周辺ツールが利用可能に (Virt-Manager, libvirt 等 ) セキュリティネットワーク運用管理 SpamAssasin,Nessus 等が検証フェーズから導入フェーズへ Asterisk の導入事例が出てきたその他のネットワークツールは定番化昨年まで導入実績のなかったツールの導入実績が多数に (Hinemos, Groundwork, MondoRescue, SyslogNG 等 ) DB 関連ツール Hadoop や Cassandra に導入や検証実績が! ビッグデータ関連ビジネスへの予感 Web AP サーバ moodle, lighthttpd, Plone, XOOPS cube が検証実績ありから導入実績ありへ変化の早い Web の世界に対応するために OSS ツールの変化も早くなっている 10

ビッグデータビジネスの予感大規模データ処理や検索に用いられるツールは既に導入フェーズに 2009 2010 Hadoop

12 1-8 OSS 最新動向調査 (3) 3 考察 OSS の成長とビジネスモデルの変化 OSS の信頼性の向上基幹系システムでの OSS 活用へフロントエンド系 OSS のユーザビリティの向上 CMS Blog ツールなどはエンドユーザが自ら導入へビッグデータビジネスの予感大規模データ処理や検索に用いられるツールは既に導入フェーズに Hadoop 検証実績多数導入実績あり Lucene データなし導入実績多数 Cassandra データなし検証実績多数ビッグデータと OSS は密接な関係 11

13 ビッグデータに対する日立ソリューションズの取組み ~ Enterpriseで活用するビッグデータ ~ 2. 日立ソリューションズの取り組み

14 2-1 ビッグデータとは? 3 つの V( ガートナー社による定義 ) Volume Variety ゼタバイトスケールのデータに加えて桁違いの計算量構造化されたデータと非構造化データの複雑な組合せ Velocity これまでにない高頻度で発生し流れる大量のデータ 13

15 2-2 既存技術の限界従来の RDBMS の限界全世界の情報量が年間 59% のペースで増大 ( 米 Gartner) データ量多様さ分析処理のスピードが課題ビッグデータ適用技術の出番! ( 列指向データベースと Hadoop ) 14

16 2-3 ビッグデータに関する取組み日立ソリューションズの取組み Volume Variety 大量データ処理に対する取組み 2011/01 :Apache Hadoop 基盤導入構築サービス提供開始多様なデータ形式に対する取組み Velocity 高速バッチ基盤に対する取組み ( 株 ) ノーチラステクノロジーと連携し Asakusa Framework を活用したソリューションの提供 (2011/12: セミナーにてご紹介済 ) 15

17 取組み (1) 大量データ処理に対する取組み 16

2-4 Hadoop 基盤導入構築サービス Hadoop 導入支援社内にデータがたくさん溜まっているがデータをうまく活用できていない Hadoop など新しい大量データ処理技術などの新技術を利用してシステム構築をしたいがシステム環境や運用の設計ノウハウがなく不安ポイント専門技術者がお客様に代わって環境設計 / 構築しますパラメタ設計書 / 環境構築手順書をご提供します

18 2-4 Hadoop 基盤導入構築サービス Hadoop 導入支援社内にデータがたくさん溜まっているがデータをうまく活用できていない Hadoop など新しい大量データ処理技術などの新技術を利用してシステム構築をしたいがシステム環境や運用の設計ノウハウがなく不安ポイント専門技術者がお客様に代わって環境設計 / 構築しますパラメタ設計書 / 環境構築手順書をご提供します Hadoop を導入する際の開発 / 実行環境パラメタ設計やチューニング環境構築作業アプリケーション開発支援を実施します現状分析設計開発構築テスト運用導入に関するコンサル技術支援検証環境のカスタマイズ支援パラメタ設計リソース設計運用設計チューニングインストールインフラ構築アプリ開発支援テスト計画策定支援テスト実施支援お客さまから構築したいシステムの構成をヒアリングし各種設定パラメタの設計インストール及び動作環境構築を行いますお客さまの業務 / ユースケースをヒアリングしアプリケーション開発や運用設計チューニングのご支援を致します 17

19 取組み (2) 多様なデータ形式に対する取組み 18

20 2-5 OSS 俯瞰図構造化データストレージ非構造化データストレージ運用管理 SAN 汎用サーバ用途別サーバ LAN 19

21 2-6 OSS スタック ( 構造化データ / 汎用サーバ ) 従来型レガシー/エッジサーバ運用監視構成管理業定ープ務業用テ途ユィリテnamazu Apache HTTP Samba postfix BIND ZABBIX heartbeat ィアリ開発/ランタイムOpenPNE 務業ミドルウェア (AP サーバ ) 務業務特開発環境 Struts 実行基盤 ( 言語 ) Spring Framework OpenJDK ibatis/mybatis OS 仮想化ソフトウェア (Hypervisor) RHEL ミドルウェア (DBMS) MySQL PostgreSQL クラウド基盤 ( クラウド運用監視管理 ) OpenStack Apache Tomcat JBoss AS KVM Eclipse SubVersion ant, JUnit ユーザ管理認証基盤 (LDAP,SSO) OpenLDAP OpenAM(GnuPG) 連携基盤 (ESB) Apache AXIS MuleESB 通信基盤 (VPN) OpenVPN OpenSSL 20

22 2-7 OSS スタック ( 非構造化データ / 用途別サーバ ) 決算処理集計処理 ( 業務データ等 ) 情報共有ノンコア (blog,cms) セッション管理アクセス履歴管理決済処理ログ蓄積一元管理 ( カード EC 等 ) データストレージバッチ処理 / オンライン処理オンライン処理ログ分析画像分析実験データ分析検索 Index 作成 BigData バッチ処理レコメンド personalize 検索広告カードの不正利用検知 BigData ストリーム処理 memcached, pgpool-ii,slony postgresql-xc, VoltDB Hadoop MapReduce, qizm 分散処理フレームワーク S4 バッチ処理ストリーム処理 RDB スケール技術参照性能向上参照更新性能向上ディスクファイルシステム XFS,ext4,ZFS 構造化 /~Middle Size Data トランザクション / 一貫性 okuyama, Memcached, membase, Tokyo Cabinet/Tyrant, ROMA,Flare, Kai NoSQL KVS カラム志向ドキュメント志向他分散ファイルシステム非構造化 /BigData/ 局所的トランザクション / 結果整合性 Hadoop Hbase, Cassandra CouchDB, MongoDB Hadoop HDFS, Redhat Global File System 21

23 取組み (3) 高速バッチ基盤 Asakusa Framework に対する取組み 22

24 2-8 何故 Asakusa Framework? 普通の企業でも適用可能多くの企業に業務バッチ処理は必ずある効果が分かりやすい業務バッチ処理が早くなれば嬉しいことも想像し易い夜間バッチの対応要員コストとか Hadoop を知らなくても開発可能 Hadoop エンジニアは不足している業務バッチ処理の書き換えを行う人材を確保しやすい安心して使える (?) 国内に開発者が居るので素早い対応が期待できる Hadoop API がバージョンアップしても大丈夫 (?) (Asakusa Framework が対応してくれれば ) 23

25 2-9-1 公開 (2011/3) 当初の評価良い点開発は楽テストデバッグも楽 Map/Reduce や HDFS 1 等の Hadoop の知識は一切不要 ( 1: Hadoop Distributed File System ) 基本的に Eclipse で Java 開発の経験があればそのまま生かせる処理速度の高速化も確認 ( 後述 ) 悪い点 / 懸念点 DB 関連で厳しい制限や制約 MySQL 必須 / 基本 MySQL が対象情報不足ドキュメントが不十分 ML 等が無い実行管理が問題 Monkey Magic( 現 Tengine framework) のみ対応商用サポートが無い 24

2-9-2 現時点でかなり改善良い点開発は楽テストデバッグも楽 Map/Reduce や HDFS 等の

処理速度の高速化も確認 ( 後述 ) 悪い点 / 懸念点 DB 関連で厳しい制限や制約 MySQL 必須 / 基本

インターフェースのみを使用した実装を提供 2 Yet Another Experimental Shell

WindGate 1 により MySQL 不要 / 他 DB も対応可能にドキュメントが拡充 Web サイトや ML

26 2-9-2 現時点でかなり改善良い点開発は楽テストデバッグも楽 Map/Reduce や HDFS 等の Hadoop の知識は一切不要基本的に Eclipse で Java 開発の経験があればそのまま生かせる処理速度の高速化も確認 ( 後述 ) 悪い点 / 懸念点 DB 関連で厳しい制限や制約 MySQL 必須 / 基本 MySQL が対象情報不足ドキュメントが不十分 ML 等が無い実行管理が問題 Monkey Magic( 現 Tengine framework) のみ対応商用サポートが無い 1 バッチに対するデータの外部入出力を行うモジュールで DBMS 固有の機能に依存せず標準 SQL/JDBC インターフェースのみを使用した実装を提供 2 Yet Another Experimental Shell Script の略 Asakusa Framework で開発したバッチを実行するためのツール DMDL 及び WindGate 1 により MySQL 不要 / 他 DB も対応可能にドキュメントが拡充 Web サイトや ML も開設 YAESS 2 により JP1/AJS 3 等との連携が容易に商用サポート開始 3 JP1/Auto Job Management System 3 を示す以降 JP1/AJS と表記する 25

27 2-9-3 処理速度の評価環境主な利用ソフトアプリ CDH3u2 (Cloudera's Distribution including Apache Hadoop 3 update 2) Asakusa FW RC MySQL DB サーバ DBMS 処理対象テーブル処理結果テーブルバッチ実行管理サーバ YAESS WindGate Asakusa F/W 1 2 Hadoop クラスタ Hadoop マスタ評価用バッチ処理 ( 試作物 ) YAESS WindGate Asakusa F/W Name Node / Job Tracker 3 4 Hadoopノード Data Node/Task Tracker Import File Export File バッチ処理 Hadoopノード Data Node/Task Tracker CPU : Intel(R) Core(TM) i5 Memory : 4GB HDD : 500GB 1 ブレードに同居 2~10 ブレード 26

2-9-4 試作した処理の概要登録顧客数一千万件顧客テーブル ( 主キー : 顧客 ID) 履歴テーブル顧客 ID 登録店 ID 顧客 ID 取引店 ID ポイント 000001 001 000002 005 507 000002 002 履歴数

登録支店 AS 登録店 ID, COUNT(TMP. 顧客 ID) AS 利用顧客数, SUM(TMP.

28 2-9-4 試作した処理の概要登録顧客数一千万件顧客テーブル ( 主キー : 顧客 ID) 履歴テーブル顧客 ID 登録店 ID 顧客 ID 取引店 ID ポイント履歴数一億件 mysqlbenchを一部改造して生成したデータ (HDFS 上に展開して4GB 程度 ) CREATE TABLE 結果テーブル ( SELECT 顧客テーブル. 登録支店 AS 登録店 ID, COUNT(TMP. 顧客 ID) AS 利用顧客数, SUM(TMP. ポイント和 ) AS 総ポイント数 FROM 顧客テーブル, ( SELECT 顧客 ID,SUM( ポイント ) AS ポイント和 FROM 履歴テーブル GROUP BY 顧客 ID ) AS TMP WHERE TMP. 顧客 ID = 顧客テーブル. 顧客 ID GROUP BY 登録店 ID ); 登録店数百店結果テーブル登録店 ID 利用顧客数総ポイント数

29 2-9-5 評価概要評価開発方針 MySQL も Hadoop も特別なチューニングをしない MySQL は huge 用のサンプル設定をベース Hadoop の設定は最低限の設定のみ DB に対する入出力とも WindGate を利用開発量実装入出力する MySQL 上のテーブルは変更を加えず Java : 10 ファイル 222 ステップ DMDL : 6 ファイル 153 ステップ自動生成 Java : 28 ファイル 2231 ステップ主にフロー処理部分から生成 :4 ファイル 230 ステップ主にデータモデルから生成 :24 ファイル 2001 ステップ開発はこれだけ! Data Model Definition Language の略で Asakusa Framework で利用可能なデータモデルを定義するための言語 MapReduce や HDFS を知らなくても開発できた! 28

2-9-6 処理時間の測定結果 30 20 10 0 MySQL 側 ( 巨大テーブル & カーソル ) の問題? WindGate 側のチューニング不足?

30 2-9-6 処理時間の測定結果 MySQL 側 ( 巨大テーブル & カーソル ) の問題? WindGate 側のチューニング不足? DB 2 ノード 6 ノード 10 ノード DB 処理 Map/Reduce 処理 Import/Export 処理 Import/ Export 処理 Map/ Reduce 処理合計全体効果 Map/Reduce 処理のみ DB ーー約 29 分ー 1ノード約 10 分約 14 分約 24 分約 17% 減約 52% 減 6ノード約 10 分約 6 分約 16 分約 45% 減約 79% 減 10ノード約 10 分約 4 分約 14 分約 52% 減約 86% 減特にチューニングしなくても処理時間を削減できている! 29

31 ビッグデータに対する日立ソリューションズの取組み ~ Enterpriseで活用するビッグデータ ~ 3. Enterprise への適用に向けて

32 3-1 Enterprise にあるビッグデータふたつのビッグデータデータタイプ典型的ビッグデータ規模既存システムとの連携必要性 OSSの必要性典型的テクノロジ新しいビッグデータ非構造化中心 Web ログソーシャルグラフマルチメディア数 100~ 数 1000 小大自社開発基盤 Hadoop NoSQL RDBMS( 商用 +OSS) 既存のビッグデータ構造化中心トランザクション履歴ドキュメント数 10~ 数 100 大中 RDBMS( 商用 )+Hadoop 31

33 3-1-2 情報システムの歴史的な変遷情報システムの利用者一般消費者社外企業社内全員基幹業務担当者 IT と業務の関係技術変化システムの影響が増大 ( 利用者の範囲数の広がり ) コンピュータセンタバックオフィス社外利用 / 企業間接続全社員 PC/ 社内システム多様な利用環境で高度で複雑なシステム要素が連携し安定的にサービス提供できることがより重要に! 社会活動ビジネスへ情報システムが直結 ( 情報システムの社会基盤化と高度化 ) システムの大規模化複雑化 ( 各種製品の種類数の広がり ) 数台 ~ 数百台数百台 ~ 数千台数千台 ~ 数万数十万台ビジネスの一部を代替メインフレーム日常のビジネス支援オープン化 ( 複数ベンダ製品化 ) IT 前提でビジネスネットワーク化出典 :IPA 発行非機能要求グレード利用ガイド [ 解説編 ] 32

34 3-1-3 情報システムに求められるもの情報システムに対する要求機能要求非機能要求営業情報をシステム上で共有し把握したい受発注情報に連動した在庫管理を行いたいシステムダウン時は 3 時間以内に復旧して欲しいレスポンスは 3 秒以内であって欲しいユーザとベンダでギャップ発生の可能性大! 33

35 3-1-4 非機能要求グレードの 6 大項目 (1) 非機能要求大項目説明要求の例実現方法の例可用性システムサービスを継続的に利用可能とするための要求運用スケジュール ( 稼働時間停止予定など ) 障害災害時における稼働目標機器の冗長化やバックアップセンターの設置復旧回復方法および体制の確立性能拡張性システムの性能及び将来のシステムに関する要求業務量及び今後の増加見積りシステム化対象業務の特性 ( ピーク時通常時縮退時など ) 性能目標値を意識したサイジング将来へ向けた機器ネットワーク等のサイズと配置 = キャパシティプランニング運用保守性システムの運用と保守のサービスに関する要求運用中に求められるシステム稼働レベル問題発生時の対応レベル監視手段及びバックアップの確立問題発生時の役割分担体制訓練マニュアルの整備出典 :IPA 発行非機能要求グレード利用ガイド [ 解説編 ] 34

36 3-1-5 非機能要求グレードの 6 大項目 (2) 非機能要求大項目説明要求の例実現方法の例移行性現行システム資産の移行に関する要求セキュリティ情報システムの安全性の確保に関する要求システム環境エコロジーシステムの設置環境やエコロジーに関する要求新システムへの移行期間及び移行方法移行対象資産の種類及び移行量利用制限不正アクセスの防止耐震 / 免震重量 / 空間温度 / 湿度騒音などシステム環境に関する事項 CO2 排出量や消費エネルギーに関する事項移行スケジュール立案移行ツール開発移行体制の確立移行リハーサルの実施アクセス制限データの秘匿不正の追跡監視検知運用員などでの情報セキュリティ教育規格や電気設備に合った機器の選別環境負荷を低減させる構成出典 :IPA 発行非機能要求グレード利用ガイド [ 解説編 ] 35

37 3-2 エンタープライズでの適用に向けてエンタープライズで求められる要件観点内容可用性性能サービス停止時間の短縮化データ破壊対策処理性能チューニング拡張性規模拡大への対応 ( スケールアウトスケールアップ ) 運用性機密性連携性移植性その他運用監視バックアップ等セキュリティの確保監査等他システムとの連携等既存システムからの移行技術者育成 OSSサポートなど 36

38 3-3 OSS の発展パターン OSS の発展のパターン商用ソフトウェアのコモディティ化 OS, RDBMS, 業務 AP, 運用管理等 ( コスト削減ベンダーロックイン回避等を実現可能に ) 新しいイノベーションの誕生ビッグデータ / クラウド関連技術 ( 分散処理基盤 KVS 等 ) (OSS でコモディティ化したハードウェア資源を有効活用 ) 37

39 3-4 今後の期待今後の期待次世代システム基盤への OSS の積極適用 UNIX からのマイグレーションでシステム基盤統一に OSS を積極的に適用イノベーションと既存技術の融合分散基盤を活用したバッチ処理の高速化 (Hadoop+Asakusa, OpenCOBOL 等 ) KVS を活用した RDBMS に代わる新しいデータ管理の適用 38

40 END 日立ソリューションズにおけるOSS-DBに対する取組みのご紹介 ~ Enterpriseで活用するために ~ 2012/04/19 株式会社日立ソリューションズ技術開発本部オープンソース技術開発センタ吉田行男

プレゼンタイトルを入力してください

プレゼンタイトルを入力してくださいオープン PaaS OpenShift を使ってみようオープンソースカンファレンス 2011 Nagoya 2011/8/21 株式会社日立ソリューションズ OSS ソリューションビジネス推進センタ山本慎悟 Contents 1. 自己紹介 2. OpenShift 概要 3. OpenShiftを使ってみよう 4. デモ 5. おさらい 1. 自己紹介 1-1 自己紹介自己紹介名前 : 山本慎悟勤務先