高効率で省電力な IoT ビッグデータ処理基盤 研究代表者甲藤二郎 ( 基幹理工学部情報通信学科教授 ) 1. 研究課題各種センサ スマートフォン 自動車 列車 移動ロボット等 IoT (Internet of Things) デバイスは多岐に渡り またそのセンシングデータも 加速度 温度等の小容量データから高精細映像等の大容量データまで あるいは SNS (Social Networking Service) 等の遅延要求の緩いものから自動運転 Industry 4.0 等の遅延要求の厳しいものまで これまた多岐に渡っている また 災害時や大きなイベント時にはバースト的に大量のデータが発生するが どのような環境下でも安全かつ高信頼なセンシングを確保すると共に 適切な情報を抽出できるデータ処理技術の確立が求められている さらには 東日本大震災時の反省に基づき 電力供給が限られた中でも長時間動作可能な省電力化技術の確立が求められている そこで本申請では 高効率 ( 高スループット ) 低消費電力 低遅延 かつ安全な IoT センシングデータの収集技術 センシングデータが爆発的に発生した場合にも柔軟に対応可能な階層化モバイルクラウドの構築技術 ならびにそれらの研究成果の有効性実証のための高機能テストベッドの開発 に関する研究開発を進める 最終的には プロトタイプ実装を通じて提案方式の有効性を実証し 具体的な出口としての東京オリンピック 運輸 自動車 医療 健康 農業 林業等の社会的課題の解決と産業貢献 ならびに 安心 安全な IoT ビッグデータ処理基盤の構築に資することを目標とする 2. 主な研究成果 2.1. エッジコンピューティングを活用したマルチメディア分散処理のための遅延評価 2.1.1. はじめに 近年ユーザが求めるアプリケーションは高度 複雑化し続けている. しかしながら, このような高 度アプリケーションを全てユーザ端末内で処理を行うことは, 消費電力増加や処理能力に対する懸 念から現実的ではなく, 近年普及しているクラウドサービスを利用した処理環境が広く利用されて いる. その結果, スマートフォンや Internet of Things (IoT) デバイスといった端末の普及による ネットワークトラフィックの爆発的な増加が顕著となっている. ただし, リアルタイムな処理が必 要となるアプリケーションを対象とすると, 端末 - クラウド間の通信遅延やクラウドの計算資源選 択の難しさがボトルネックとなり, 必ずしもクラウドサービスがその要求に満足しているとは限ら ない. そこで, 近年, ネットワークのエッジ部 ( エッジルータ, 無線通信基地局, アクセスポイント等 ) に 配置されたエッジサーバで分散処理を図るエッジコンピューティングが提案されている. 従来のク ラウドコンピューティングでバックボーンのデータセンタに配置されるコアサーバよりも, ユーザ 端末からの物理的な距離を短縮し, 負荷分散を図ることで, クラウドコンピューティングのボトル ネックの一つである通信遅延を改善することが期待されている. その結果, 端末, コアサーバおよ
びエッジサーバで高負荷なアプリケーションの分散処理を実行することで, 端末の性能によらずに処理の高速化が期待されている. エッジコンピューティングでは, ある程度複数のエッジサーバがクラスタを構築し, さらに, 局所的に分散配置されることを想定している. その結果, 非常に多くのサーバやネットワークが存在し, それぞれが小規模なデータセンタのような役割を果たしている. そのため, エッジコンピューティング環境でアプリケーション処理を行う際は, その多くのサーバ, ネットワークの中から, 動的に変動する各サーバの割り当てリソース量や各ネットワークの帯域を考慮した上で, ユーザが要求する QoS(Quality of Service) を満たす分散処理可能な経路を適切に選択する必要がある. 2.1.2. 実験環境従来のクラウドコンピューティングおよびエッジコンピューティングを想定した実験環境を研究室内に構築し, アプリケーション処理の遅延特性評価を行う. 本環境は, ユーザ端末 1 台とコアサーバ 1 台 (Core), エッジサーバ 3 台 (Edge1, 2,3),OpenFlow コントローラ 1 台で構成されており, 今回使用している各サーバの OS はいずれも Ubuntu14.04 である. また, 各サーバのスペック (CPU, メモリ ) はそれぞれ表 1 の通りである. 表 1. 各サーバスペック Server CPU Memory Core Intel Xeon 8GB E5-1650v2 @3.50GHz Edge1 (1) Intel Core i5-2400 4GB @3.10GHz Edge2 (2) Intel Core 2 Q8400 @2.66GHz 4GB Edge3 (3) Intel Core i7-3770 8GB @3.40GHz ユーザ端末とコアまたはエッジネットワーク間は, クラウドコンピューティングの往復遅延が数百 ms, エッジコンピューティングの往復遅延が数十 ms 程度であることを踏まえ, それぞれ 100ms,10ms の遅延を発生させている. また, クラウドコンピューティングではエッジコンピューティングに比べて可用帯域が限られることを踏まえ, 各区間の帯域幅をそれぞれ 10Mbps,100Mbps に制限している. 遅延, 帯域については, 共に Linux のコマンドである tc(traffic control) コマンドで制御している.OpenFlow コントローラは最適な経路を決定し, 指定したサイクルごとに最適な経路情報を各サーバに対して送信している. 各サーバはその経路に従ってデータ処理と転送を実行することとする. 本実験では, 監視カメラ映像からの人物検出を処理対象のアプリケーションを想定している. アプリケーションの実行手順を次に示す. まず, 監視カメラで撮影された映像を 2K の動画として 1 秒毎のセグメント (30 フレーム ) ごとに分割し, コアもしくはエッジ1サーバへ送信する. 次に,1 つ目の処理として, 検出処理量緩和のために, 動画のフレームサイズを 1920x1080 から 640x360 に縮小を行う. その後,2 つ目の処理として, 各フレームに対して HOG 特徴量を用いて人物検出を行う. 2.1.3. 実験結果 人物検出アプリケーションについて,1 秒および 10 秒間の動画を処理したときの実機計測した実行遅延 時間, および 3 章のエッジコンピューティングにおける遅延分析モデルに基づいて計算した実行遅延の
理論値を図 1 に示す. ここでは, コア, エッジ 1 サーバそれぞれで 2 つの処理を実行した結果と, OpenFlow コントローラで決定した最適な経路での処理実行結果 (Edge1->3) を比較している. (a) 動画 1 秒 (b) 動画 10 秒 図 1. 遅延時間理論値および実測値 この図からわかるように, 処理時間 (Processing1 と2) に関しては理論値と実測値は概ね一致しているが, 通信時間に関しては, 特にコアサーバで処理した際に約 3 秒程度の差が生まれている. この原因として, 今回計測した通信データサイズが,(a) の場合 Drx =2.65[Mbit],Dtx =5.52[Mbit] と小さく,TCP 輻輳制御が効果的に機能しなかったために理論値通りのスループットが出なかったことや, 理論値に反映していないメッセージのやり取り時間が発生していることが原因として挙げられる. 次に, エッジサーバとコアサーバを用いた際の通信にかかる時間を比較すると, エッジサーバを用いた場合の遅延時間は, いずれもコアサーバを用いた場合の遅延時間より短いことがわかる. これは主にユーザ-コア / エッジサーバ間の帯域や RTT といったネットワーク環境の差に起因しており, クラウドコンピューティングに比べてエッジコンピューティングは通信面において低遅延化を実現できることがわかる.
2.1.4. まとめ本稿では, エッジコンピューティングを用いたマルチメディア処理の低遅延化に着目し, モデル式や処理経路選択法の提案を行った. 評価結果より, 遅延モデル式の妥当性と, クラウドコンピューティングおよびエッジコンピューティングの遅延特性を示した. さらに, モデル式を用いて低遅延処理のためにネットワーク経路を最適化することにより, エッジコンピューティング環境でより低遅延な分散処理を行うことができることを示した. 2.2. MPEG-DASH を用いた 4K 映像配信時の QoS/QoE 評価 2.2.1. はじめに近年 ネットワークの高速化と映像の高精細化に伴い 複数ユーザ競合時でも高品質性を維持できる映像配信の需要が増加している また スマートフォンやタブレットといったモバイル端末の普及により 映像コンテンツの視聴形態の多様化が進んでいる 本稿では MPEG-Dynamic Adaptive Streaming over HTTP (DASH) を用いて多様な環境下における 4K 映像配信時の Quality of Service (QoS) および Quality of Experience (QoE) を定量的に評価する 2.2.2. 配信方式変化時の DASH 配信 QoS/QoE 評価 図 2 に複数ユーザ時の配信方式を変化させた際の実験結果の平均値を示す 図 2. 固定レート配信と適応レート配信 ( 有線 LAN). 図より再生中断が生じると MOS が大きく低下することから MOS への影響は再生中断が大きいということが言える 適応レート配信ではユーザ端末数の増加に対して 適応レート制御によりレプリゼンテーションを低下することで再生中断を回避しているため ユーザ端末数に関わらず MOS が大きい さらに 平均レプリゼンテーションの低下に伴う MOS の低下が緩やかであることより レプリゼンテーションが与える MOS への影響は再生中断が与える影響よりも小さいということが言える したがって 高品質性を維持するためにはレプリゼンテーションが低下したとしても 再生中断の抑制が重要と言える 一方 スタートアップ時間について見てみると ユーザ端末数が少ない場合では固定レート配信のほう
がスタートアップ時間は短いということがわかる なぜなら 十分なネットワーク帯域がある場合 固定レート配信では適応レート配信よりも低品質なレプリゼンテーションを選択するため セグメントの取得に要する時間が短いと考えられる ただし 複数ユーザによる帯域の競合が多くなると 適応レート制御によりレプリゼンテーションを動的に切り替えられる適応レート配信のほうがスタートアップ時間は短くなる その結果 スタートアップ時間による MOS の変動が少ないことから スタートアップ時間が MOS へ与える影響は小さいと言える 2.2.3. ネットワーク遅延変化時の DASH 配信 QoS/QoE 評価 図 3 に有線上の 5 ユーザに対してネットワーク遅延を変化させた際の実験結果の平均値を示す ネット ワーク遅延は Linux コマンドである tc(traffic control) コマンドで制御している 図 3. ネットワーク遅延の影響. 図よりネットワーク遅延が 50ms の場合では QoE 評価項目への影響はほとんどないということがわかる 1 ユーザあたりの平均スループットはネットワーク遅延が 0ms 50ms のとき 固定レート配信ではそれぞれ 6.96 6.77[Mbps] 適応レート配信ではそれぞれ 8.33 7.84[Mbps] であった ネットワーク遅延によるスループットの低下がほぼ見受けられないことから 最短経路で映像配信を行うよりも広帯域な迂回経路を使用したほうが高スループットであり 複数ユーザによる競合時でも平均レプリゼンテーションの向上や再生中断の抑制が予測できる したがって ネットワーク遅延が 50ms 以内であれば 最短経路よりも広帯域経路を使用したほうが十分なネットワーク帯域を必要とする映像配信には適すると考えられる 2.2.4. まとめと今後の課題本稿では MPEG-DASH を用いて多様な環境下における 4K 映像配信時の QOS/QoE を定量的に評価した 高品質な映像配信のためには再生中断の抑制 適切なバッファサイズの設定 広帯域経路の選択が重要と言える
2.3. エッジコンピューティングを活用した IoT ネットワークのトラフィック最適化 2.3.1. はじめに近年,IoT アプリケーションとして交差点や踏切などのさまざまな場所でカメラを用いて異常を検知する映像監視システムの普及が進んでいる. このような監視システムは, 高精度なイベント検知を低遅延で行い, さらにシステムによって生成される映像や制御メッセージがネットワーク帯域を圧迫しないことが要求されている. そこで本稿では, ネットワーク負荷の緩和に着目した複数センサを活用したイベントドリブン型レート制御を提案する. これは, イベント検知にカメラのみならず複数センサも活用し, 高精度なイベント検知を実現し, さらに, 検知したイベントを基にビデオの圧縮率を制御することでビデオトラフィック量を削減するものである. 2.3.2. イベントドリブンレート制御本稿では監視対象エリアを踏切と想定しており, 踏切内における人の有無, および動作 ( 動いているか, 留まっているか ) を検知することとする. 利用するセンサとして, カメラ, レーザースキャナ (LS), 赤外線測距センサ (IDS) を用いることとする. また, 人物検知は LS とカメラを使用し, それぞれ背景差分手法と HOG 特徴量を用いた手法によりセンサーベースと画像ベースの両手法で行う. さらに,LS, カメラによる検知に加えてシステムに冗長性を持たせるため,IDS を用いた監視エリアへの人物の侵入, 退出検知を行う. カメラを除き, センサーは取得したデータをエッジサーバーに送信する. そして, エッジサーバーにて受信したデータを利用して人物の検知, 追跡を行う. カメラは検知をローカルで行い, 検知結果のみをエッジサーバーに送信する. これは, カメラによって取得した動画像がネットワーク帯域を圧迫することを避けるためである. エッジサーバーにてイベントの検知を行った後, 監視カメラの動画品質をイベントに応じて適応させる. 本稿では, 表 2 に示すようにシステムの検知するイベントと動画品質の対応を定義する 表 2 イベントおよび品質定義 イベント定義 監視対象 対象の状態 動画品質 危険度 : 高 歩行者 停止 高 危険度 : 中歩行者移動中 危険度 : 低歩行者不在低 2.3.3. 評価実験提案システムを評価するために, 図 4 に示すように, レーザースキャナ (HOKUYO UST-20LX), 2 つの赤外線測距センサ (SHARP GP2Y0A21YK), ウェブカメラ (Logitech HD Pro webcam c920) を研究室内にそれぞれ設置し, データをノート PC を用いて収集した. ウェブカメラはレーザスキャナから 1600mm 左に設置し,2K/30fps/3Mbps で監視エリア全体の撮影を行った. また, レーザスキャナ, 赤外線測距センサはサンプリングレートをそれぞれ 40, 10fps とした. システムは 1 秒毎に人物の行動検知を行い, 検知結果を元に 1 秒の動画を 500/1000/3000kbps で変換する. 本実験では,2 人の歩行者が監視エリア内に侵入後,10 秒間範囲の中央で停止した後, 退出するというシナリオで評価を行った. 図 5 に提案手法を使用した場合としなかった場合の送信データ量について示す. 図より, エッジサーバ
ーの検知ミスが時折生じているものの, 提案手法により動画トラフィックが減少 ( 約 60%) しているこ とがわかる. 図 4 実験環境 図 5 送信データサイズの比較実験結果 2.3.4. まとめと今後の課題本稿では, ネットワークにとって低負荷な監視映像システムを実現するために, 複数センサを活用したイベントドリブン型レート制御手法を提案した. 提案手法では, まず, カメラ, レーザースキャナ, 赤外線測距センサを活用し, 監視対象エリアのイベント検知を行った. さらに, 検知されたイベントを危険度 3 つの危険度に分けて定義し, その危険度に応じて配信する動画像の品質を高, 中, 低の 3 つに変化させた. その結果, 常に高品質で配信する場合と比較して約 60% にデータ量を抑えることが達成できた.
3. 共同研究者 佐藤 拓朗 ( 早稲田大学 教授 ) 亀山 渉 ( 早稲田大学 教授 ) 津田 俊隆 ( 早稲田大学 客員教授 ) 金井 謙治 ( 早稲田大学 助教 ) 山崎 恭 ( 北九州市立大学 准教授 ) 市野 将嗣 ( 電気通信大学 助教 ) 4. 研究業績 [1] Kenji Kanai, Takeshi Muto, Jiro Katto, Shinya Yamamura, Tomoyuki Furutono, Takafumi Saito, Hirohide Mikami, Kaoru Kusachi, Toshitaka Tsuda, Wataru Kameyama, Yong-Jin Park and Takuro Sato: Proactive Content Caching for Mobile Video utilizing Transportation Systems and Evaluation through Field Experiments, IEEE Journal of Selected Area in Communications, Vol.34, No.8, Aug.2016. [2] Sakiko Takenaka, Kenji Kanai, Jiro Katto and Tutomu Murase: "Green Video Delivery System using Moving Route Navigation and Playout Buffer Control," IEEE CCNC 2017, Jan.2017. [3] Kentaro Imagane, Kenji Kanai, Jiro Katto and Toshitaka Tsuda: "Evaluation and Analysis of System Latency of Edge Computing for Multimedia Data Processing," IEEE GCCE 2016, Oct.2016. [4] Shintaro Saika, Saki Takahashi, Masaru Takeuchi and Jiro Katto: "Accuracy Improvement in Human Detection Using HOG Features on Train-Mounted Camera," IEEE GCCE 2016, Oct.2016. [5] Kentaro Imagane, Kenji Kanai, and Jiro Katto: "Performance Evaluations of Edge Computing for Multimedia Data Processing. IEICE SISA 2016, Sep.2016. [6] 今金健太郎 金井謙治 甲藤二郎 津田俊隆 遅延分析モデルを用いたエッジコンピューティングとクラウドコンピューティングの実行遅延評価 信学総大 Mar.2017 [7] 川上航 金井謙治 甲藤二郎 モバイル端末によるセンサー情報の省電力アップロード手法の消費電力特性評価 信学総大 Mar.2017 [8] 長島達哉 金井謙治 甲藤二郎 多様な環境下での MPEG-DASH を用いた 4K 映像配信時の QoE 評価 信学総大 Mar.2017 [9] 竹中幸子 金井謙治 甲藤二郎 村瀬勉 通信速度変動を考慮した省電力配信のための消費電力推定モデルの特性評価 信学会 ICM 研究会 Mar.2017 [10] 川上航 金井謙治 甲藤二郎 モバイル端末によるセンサー情報の省電力アップロード手法の消費電力特性評価 信学会 NS 研究会 Mar.2017 [11] 長島達哉 金井謙治 甲藤二郎 多様な環境下での MPEG-DASH を用いた 4K 映像配信時の QoE 評価 信学会 NS 研究会, Mar.2017. [12] 小川啓吾 金井謙治 竹内健 甲藤二郎 津田俊隆 監視映像システムにおけるセンサ情報をもとにしたイベント検知および動画像レート制御の性能評価 信学会 NS 研究会, Mar.2017. [13] 今金健太郎 長島達哉 金井謙治 甲藤二郎 津田俊隆 エッジコンピューティングを活用したマルチメディア分散処理のための遅延評価 信学技報 CS 研究会 Dec.2016
[14] 小川啓吾, 金井謙治, 竹内健, 甲藤二郎, 津田俊隆 : " 監視映像システムのための複数センサを活用したイベントドリブン型適応レート制御の性能評価," 信学技報 MoNA 研究会, Nov.2016. [15] 雑賀新太郎, 高橋沙希, 竹内健, 甲藤二郎 : "HOG 特徴量を用いた列車車載カメラ映像における人物検出," PCSJ/IMPS 2016, Nov.2016. [16] 高橋沙季, 竹内健, 甲藤二郎 ::" 可視光画像と熱画像を併用した人物検出精度改善の一検討," PCSJ/IMPS 2016, Nov.2016. [17] 金井謙治 : " 大規模フィールド実験におけるコンテンツ先回り配信の性能評価," 情処研報 AVM 研究会, Aug.2016. 5. 研究活動の課題と展望今後の課題として以下が挙げられる 第一に 経路選択モデル式の精度改善や詳細化を行い, サーバ台数が多くネットワークがより複雑な環境での評価実験を行う予定である. また,OpenFlow のみならずサーバ仮想化技術の OpenStack も利用し, より動的な処理環境を構築し新たなモデル式を提案して評価を行う予定である. 第二に 複数センサを追加しイベント検知の精度を高めると共に, プロトタイプ実装を行い, 実地検証を行うことを検討している