Apache Storm 2. Storm Jubatus 2. 1 Apache Storm Storm Back Type [3] Twitter Twitter Apache Hadoop Storm Apache Spark [5] 1 Spark.52. [6] Storm 1 Spout

Size: px

Start display at page:

Download "Apache Storm 2. Storm Jubatus 2. 1 Apache Storm Storm Back Type [3] Twitter Twitter Apache Hadoop Storm Apache Spark [5] 1 Spark.52. [6] Storm 1 Spout"

ありさまるこ
5 years ago
Views:

1 DEIM Forum 216 G8-2 Apache Storm yuko-k@ogl.is.ocha.ac.jp, {atsuko.takefusa,hide-nakada}@aist.go.jp, oguchi@computer.org Apache Storm Apache Storm Performance Evaluation of a Real-time Video Stream Analysis Application Framework Using Apache Storm Yuko KUROSAKI, Atsuko TAKEFUSA, Hidemoto NAKADA, and Masato OGUCHI Ochanomizu University Otsuka 2 1 1,Bunkyo-Ku, Tokyo , Japan National Institute of Advanced Industrial Science and Technology (AIST) Umezono, Tsukuba, Ibaraki , Japan yuko-k@ogl.is.ocha.ac.jp, {atsuko.takefusa,hide-nakada}@aist.go.jp, oguchi@computer.org 1. [1] [2] Apache Storm(Storm ) [3] [4]

2 Apache Storm 2. Storm Jubatus 2. 1 Apache Storm Storm Back Type [3] Twitter Twitter Apache Hadoop Storm Apache Spark [5] 1 Spark.52. [6] Storm 1 Spout Bolt Topology Storm Spout Steam Bolt Stream Tuple Storm Master NodeSlave Node ZooKeeper Master Node Nimbus Nimbus Slave Node Slave Node Supervisor Supervisor Supervisor Worker Topology Nimbus Supervisor Worker Spout Bolt Zookeeper Storm 2. 2 Jubatus Jubatus NTT SIC Preferred Infrastructure () [7] Jubatus UPDATE tuple tuple spout spout topology 1 Topology MIX Jubatus Datum key-value Datum 3 key-value value value value key 3 3 Jubatus Jubatus JSON (.so ) JSON 3. (1) (2) ()(3) 3 (1) (2)(3) (1)(2) (3) WEB 2 Bag-of-Features 3 Jubatus WEB WEB OpenCV [8] WEB (2)Bag-of-Features Bolt

3 Bag-of-Features 2 OpenCV Bagof-Features [9] (3)Jubatus Bag-of-Features K-means Bag-of-Features OpenCV SIFT SIFT SURF SURF SURF keypoint keypoint 128 keypoint Visual Word Visual Word Bag-of-Features Visual Word Jubatus 2.2 Jubatus Datum Datum 1 Datum Jubatus Jubatus Datum Jubatus Jubatus Jubatus Classifier API train API classify API Jubatus Datum 2 JSON Adaptive Regularization of Weight vectors 1. Jubatus 2 Client Side Apache Storm Storm Jubatus Cloud Side Storm (1) (2) (3) (2) (2) [4] 4. 2 Storm 1 Spout Spout Visual Words 1 Storm 3 Intel Xeon W559((3.33GHz4 ) 2 ) Su-

4 default( 24) 35 sleep 1ms( 24) Number of JOBs 3 Supervisor Nimbus Supervisor Supervisor ZooKeeper Supervisor Cloud Side Sensor Side default( 16) sleep 1ms( 16) 25 2 15 1 5 5 1 15 2 25 3 Time [sec]

4 4 default( 24) 35 sleep 1ms( 24) Number of JOBs 3 Supervisor Nimbus Supervisor Supervisor ZooKeeper Supervisor Cloud Side Sensor Side default( 16) sleep 1ms( 16) Time [sec] 図3 実験環境図 5 異なるポーリング間隔 Bolt 数における処理ジョブ数の比較 5 45 Number of JOBs ms/tuple, Spout 2 必要がありそのための監視であると考えられるこの Sleep 5ms/tuple, Spout 4 時間を default 時の 1ms から 1ms に短縮させた場合どの 5ms/tuple, Spout 6 ような性能差が出るかを解析した Spout スレッド数を 4 ス 1ms/tuple, Spout ms/tuple, Spout 4 トリームデータの生成速度は 1ms/tuple とし Bolt スレッド 1ms/tuple, Spout 6 数をと変化させた Sleep 時間は default の 1ms と 1ms の場合で計測を行った 15 実験結果は図 5 に示す縦軸は処理した総ジョブ数を表し 1 横軸は経過時間を秒で表している Bolt 数 16 の場合はジョブ Time [sec] 図 4 異なる Spout スレッド数データ生成速度における処理ジョブ数の比較数の変化は見られなかったが Bolt 数が 24 の場合性能向上がみられたこれは十分な処理スレッド数がある場合 Sleep 時間が短いほうが処理の持ち時間が少なくなるためと考えられるよって Sleep 時間を短くすることによる性能向上が期待できることを示された pervisor ノードを 4 台用意し 1 台がセンサ側 3 台がクラウ 5. 関連研究ド側計算機であると想定する Supervisor ノードには worker クラウド技術を用いた動画像データ解析は近年数多く研究をコア数に合わせて 8 つずつもたせ Supervisor ノードの 4 台されているがクラウド上での効率的な動画像データの内容検のうち 1 台は Nimbus ノードとしても機能させクラウド側に索やクラウドプラットフォームを使用した動画像データのオ配置するまたクラウド側に Zookeeper を稼働させた計算機ンデマンドシステムにおけるロードバランスに焦点が当てられを 1 台用意したていた既にストリーム動画像データの検出追跡解析を行 4. 2 Spout 数の変化に伴う性能解析う内蔵システム [1] や人々の異常行動の追跡や活動の検出す Spout スレッド数の変化に伴う性能解析を行った Spout スる自動監視システム [11] が開発されているがこれらは 1 ノーレッド数をと変化させストリームデータの生成速ド上で動作するシステムとして開発されておりスケーラビリ度は 5ms/tuple と 1ms/tuple とし Bolt スレッド数を 24 とティについて考慮されていないする実験結果は図 4 に示す縦軸は処理したジョブ数の合計を Abdullah ら [12] はクラウド上で動画像データの取得処理解析を行うストリーム処理フレームワークを構築している表し横軸は経過時間を秒で表している実験結果より計時間のかかる高画質の画像処理を GPU を用いることで高速化算上同じストリーム量 (spout 4, 1ms/tuple と spout 2, しクラスド上でのスケーラブルなフレームワークを提案して 5ms/tuple) を流した場合スレッド数が少なくかつ速度がいる大量の動画像データを扱いスケーラビリティを考慮し速い方が性能がよいことがわかったこれはスレッドが増えるたフレームワークの設計は本研究と近いが全ての処理をクラことによるスレッド切り替えオーバーヘッドがボトルネックにウド上で行っているのに対し本研究はファットクライアントなったと考えられるモデルを採用している点で異なる 4. 3 スレッドのポーリング間隔の変化に伴う性能解析スレッドのポーリング間隔の変化に伴う性能解析を行ったまた Storm の高速化を目指して Twitter 社は Apache Heron(以降 Heron と呼ぶ) を開発した [13] Storm では Mas- Storm では Spout および Bolt スレッドが Topology が active ter Node が多くの機能を持っており負荷が集中しボトルネッかどうか Spout スレッドが active かどうか定期的に判断しクになっていた Heron では Topology 毎に Storm における active になければ Sleep する実装になっているこれは Storm Nimbus にあたる Topology Manager を持たせ各 Topology はストリーム処理であるため常にスレッドが動作している

5 Topology Storm KedigehalliChristopher KelloggSailesh MittalJignesh M. PatelKarthik RamasamySiddarth Taneja Twitter Heron: Stream Processing at Scale The 215 ACM SIG- MOD International Conference on Management of Data pp Storm Apache Storm (NEDO) [1] Milan PatelBrian NaughtonCaroline ChanNurit Sprecher Sadayuki AbetaAdrian Neal, Mobile-edge computing ETSI, Tech. Rep., [2] Flavio Bonomi, Rodolfo Milito, Jiang Zhu, and Sateesh Addepalli, Fog computing and its role in the internet of things, in Proceedings of the First Edition of the MCC Workshop on Mobile Cloud Computing, ser. MCC 12. ACM,212, pp [3] Apache Stormhttps://storm.apache.org/ [4] Yuko Kurosaki, Atsuko Takefusa, Hidemoto Nakada, asato Oguchi A Study of Load Balancing between Sensors and the Cloud for a Real-Time Video Streaming Analysis Application Framework IMCOM216, Danang, Vietnam, January 214. [5] Apache Sparkhttps://spark.apache.org/ [6] Matei ZahariaTathagata DasHaoyuan LiTimothy HunterScott ShenkerIon Stoica Discretized Streams: A Fault-Tolerant Model for Scalable Stream Processing Electrical Engineering and Computer Sciences UCB/EECS [7] Jubatushttp://jubat.us/ja/ [8] OpenCVhttp://opencv.org/ [9] Tomoyuki Nagahashi, Hironobu Fujiyoshi Object Category Recognition by Bag-of-Features using Co-occurrence Representation by Foreground and Background Information Machine Vision Applicationspp [1] B. S. System, IVA 5.6 intelligent video analysis Bosh Security System, Tech. Rep.214 [11] Project BESAFEhttp://imagelab.ing.unimore.it/besafe/. [12] Tariq AbdullahM Fahim TariqYusuf Baltaci and Nick AntonopoulosTraffic Monitoring Using Video Analytics in CloudsTraffic Monitoring Using Video Analytics in Clouds 7th International Conference on Utility and Cloud Computingpp [13] Sanjeev KulkarniNikunj BhagatMaosong FuVikas

2 JSON., 2. JSON,, JSON Jaql [9] Spark Streaming [8], Spark [7].,, 2, 3 4, JSON [3], Jaql [9], Spark [7] Spark Streaming [8] JSON JSON [

2 JSON., 2. JSON,, JSON Jaql [9] Spark Streaming [8], Spark [7].,, 2, 3 4, JSON [3], Jaql [9], Spark [7] Spark Streaming [8] JSON JSON [ DEIM Forum 2016 G1-4,, 305 8573 1-1-1 305 8573 1-1-1 305 8573 1-1-1 E-mail: denam96@kde.cs.tsukuba.ac.jp, {shiokawa,kitagawa}@cs.tsukuba.ac.jp,,.,,,.,, (1), (2),.,, 1.,.,,.,,,,, Storm [2] STREAM [5], S4