Microsoft PowerPoint - SWEST18_ISP.pptx

Size: px

Start display at page:

Download "Microsoft PowerPoint - SWEST18_ISP.pptx"

こうごかつもと
5 years ago
Views:

1 技術者が知っておきたいDeep Learningの基礎と組込みでの利用 ~ 今さら聞いてください Deep Learning~ SWEST /8/26 ( 株 ) システム計画研究所上島仁 1

2 Agenda 1. IoTを取り巻く世界観 2. Deep Learning 技術解説 3. 事例紹介 4. 開発の実際 5. 組込みでの利用 2

3 1. IoT を取り巻く世界観 3

4 データ駆動型社会センサ監視カメラデータ収集音声加速度センサストレージ格納蓄積検索ビッグデータエアコン制御制御音声応答サービス異常通知分析 AI 解析自然言語処理解析ロボット実世界クラウド AI 4

5 サービスの例 Automotive 4.0 配車状況位置交通状況予約状況バッテリー室内の汚れ配車計画目的地指示修理判断運航計画自動運転による配車実世界 Industry 4.0 Industrial Internet センサ気温天候販売状況倉庫状況ロボット制御生産ライン調整相互連携設定値計算需要予測生産計画配送計画クラウド 5

6 キーワード IoT 実世界におけるデータ収集 Big Data データの蓄積ロボット AI 実世界へのアウトプット物理的サービスデータの分析意味を取り出すクラウド上のみならず全体に遍く存在 6

7 データ駆動型社会における AI の位置づけクラウド上 IoT で集まるデータを価値に変換するエッジ大量に蓄積されたデータの中から重要な情報を抽出するネットワーク上のデータを削減するデータ量の爆発的増加に比べ通信帯域はそれほど増えない分析に必要なデータは残しつつノイズとなるデータを削減データの補完故障したセンサデータの推定センサの数を抑える意味価値の取り出しコスト削減 7

8 人工知能とは人工知能 (artificial intelligence) 人工的にコンピュータ上などで人間と同様の知能を実現させようという試み或いはそのための一連の基礎技術を指す人工知能研究の目的知性を持つ機械をつくる人間が知能を使って行う作業を機械で代替する 8

9 強い AI と弱い AI 区分キーワード応用事例特徴強い (Strong)AI 人間的前頭葉知性鉄腕アトム? そもそも知性とはなに? 思いやりや共感? 弱い (Weak)AI 動物的小脳情報処理画像認識異常検知自動運転 Alpha GO りんなコグニティブコンピューティング人の手に余る大量のデータを瞬時に処理非構造のデータを分析画像音声自然言語センサデータ等特定の問題セットに特化 9

10 2. Deep Learning 技術解説 10

11 機械学習のイメージ機械学習とは明示的にプログラミングすることなくコンピュータに行動させるようにする科学 Andrew Ng のこと一般には過去データやサンプルから学び認識や予測分類を実現する技術教師付き機械学習の例 {( xi, yi ), i 1,...N } cat 大量のラベル付き学習データ (x:画像 y:ラベル) 入力出力 cat 未知のデータ学習データに含まれていない未知のデータを正しく認識させることが目標 11

12 機械学習の分類教師あり学習既知の情報からパターンを学習予測対象が数値であれば回帰カテゴリであれば分類教師なし学習データのパターンをデータのみから推測クラスタリング他にも半教師あり学習強化学習等々 12

13 色々な機械学習手法ロジスティック回帰決定木回帰木ブースティング Random Forest SVM(support vector machine) Deep Learning 概要 1950 年代から存在する確率モデルで 2 値分類問題を解く手法統計的手法とも言えます分類や回帰問題を解く予測モデルを決定木の形で学習する条件分岐で予測値を求めるため人の目で見てモデルが分かりやすい一連の弱い仮説器をまとめることで強い仮説を生成する集団学習アルゴリズム教師あり学習に対応する決定木を弱仮説器とする集団学習アルゴリズムです 1990 年代一世を風靡した手法 Deep Learning が登場する以前は最も認識性能が優れ手法の 1 つだった現在もベンチマーク的な意味合いを持っている 1960 年代から存在するニューラルネットワークを用いた手法注目幻滅を繰り返しきましたが近年計算機パワーの増大と過学習を抑える工夫があいまって画像認識音声認識動画認識など様々な分野で高い精度を叩き出しています現在最も認識性能が優れた手法と言われています 13

14 Deep Learning のイメージ多層ニューラルネットを用いた人工知能構築技術の総称猫! 人間の脳による判別 cat dog bird Deep Learning による判別 14

15 ニューラルネットワーク脳神経を計算機上でシミュレーションすることを目指した数学モデル神経細胞 ( ニューロン ) 入力値の線形結合 z t w x T 結合重みバイアスニューロン ( 核 ) シナプス活性化関数単純パーセプトロン (1960 年代 ~) x 1 x 2 x n w 1 w 2 w n z f z ステップ関数 f z z 1 0 シグモイド関数 f z exp( z) otherwise 15

16 ニューラルネットワークの動作多数の人工ニューロンから構成された層を何層も重ね合わせた多層で構成人工ニューロンは与えられた数値データを発火関数にかけ発火の閾値を超える場合にはニューロンとニューロンを繋ぐ重み付きのシナプスを通して次の層のニューロンに情報を伝達します学習によりシナプスの重みの値が更新され特定の特徴を持ったデータを入力層に与えられた時に反応するネットワークが構築されますニューラルネットワークの図例 ( 画像認識 ) 入力層の各ニューロンに画像のピクセルごとのデータを入力します入力層隠れ層出力層 0 2 入力した画像の分類に対応した出力層のニューロンが最も高い数値を出力します 16

17 機械学習の発展 ~Deep Learning の登場 1960 頃 ~ パーセプトロン (2 層 ) 注目を集めるも XOR が解けないことわかり下火に 1980 頃 ~ 多層パーセプトロン (3 層 ) バックプロパゲーションの発明課題学習が収束しない過学習となる 1990 頃 ~ SVM, Boosting, Random Forest, 頃 ~ Deep Learning Layer-wise Training 2006 年 (Hinton 先生の有名な論文 ) Deep Neural Network の学習が過学習してしまう問題を解決従来よりも多層のニューラルネットワークを扱えるようになった画像認識音声認識自然言語処理などさまざまな分野で圧倒的な性能を達成 17

18 Deep Learning の開花各種コンテストで高い精度を叩き出し現在では注目を集める技術となった Deep Learning は大量の学習データから特徴自体を学ぶことができ AI における 30 年来のブレークスルーを果たしたとも言われている Imagenet Large Scale Visual Recognition Challenge (ILSVRC ) 2013 年以降はDeep Learning 採用チームが上位を独占している精度 (%) 年の ILVRC で Deep Learning を用いたチームが前年までの従来手法での精度を大きく更新

19 なぜ今 Deep Learning なのか? ニューラルネットワークの根本原理が変わった訳ではない問題点学習が収束しない入力に近い層の学習が遅い層を遡る過程で誤差が多数のニューロンに拡散されてしまいパラメータがほとんど更新されない過学習しやすい訓練データのみに過度に適応 1. 活性化関数 ReLU の発明 2. 過学習回避手法の発明 3. その他最適化に関する手法の発達 4. データの増加 5. 計算機の高速化 (GPGPU の恩恵 ) 19

20 従来手法との比較機械学習 ( 従来手法 ) 入力データ特徴量抽出ベクトル表現学習器結果犬 pixels data SIFT, SURF etc. BoVW, Fisher Vector etc. SVM etc. Deep Learning( 深層学習 ) 入力データ特徴抽出 ~ 学習結果 pixels data データはとても沢山必要 Deep Learning ここが画期的! 30 年来のブレークスルー犬 20

21 Deep Learning の学習 Deep Learning の学習ではまずネットワークに学習データを入力しその後出力値とラベルとの誤差が少なくなるように誤差逆伝搬法 ( バックプロパゲーション ) でネットワークの重みパラメータを最適化します従来のニューラルネットワークと比較して Convolution Pooling などの技術が使われることで局所解に陥らない工夫がされています Deep Learning の学習のイメージ : 学習データ出力とラベルとの出力誤差学習後したネットワークに未知のデータを与えるとラベルが予測される誤差逆伝搬法でパラメータを最適化 21

22 畳み込みニューラルネット (CNN) 畳み込み層とプーリング層と呼ばれる 2 種類の層を交互に積み重ねた構造を持つネオコグニトロン (1979, 福島邦彦 ) 第一次視覚野の S 細胞, C 細胞をモデル化画像認識で高い性能を示す画像フィルタを連続的にかけるイメージ局所的特徴大域的特徴入力層 Conv.1 Pool1 Conv.2 Pool2 Conv.3 Pool MLP 出力層 22

23 各層で反応する形状 Visualizing and Understanding Convolutional Networks 23

24 各層で反応する形状 24

25 Stacked AutoEncoder 次元圧縮後に再度元に戻し誤差が少なくなるように学習中間層に特徴が凝縮される情報圧縮が可能 ( 上手くやれば ) Decode 猫の特徴入力と同じものを復元できるように学習 Encode

26 Stacked AutoEncoder --- 従来手法との比較 Movie Lens プロジェクト TagGenome 映画の特性や感想原作者等でタグ付けタグ例 : animal fun G.Orwell 等 1000 種類エイリアン SF ホラーヒーロー物エイリアン vs プレデター子供向けアニメ PCA Autoencoder

27 RNN (Recurrent Neural Network) 再帰型ニューラルネットワーク不定長系列データを扱うための手法時刻 t-1 と t のデータの相関を学習可能 X の次には Y が来る可能性が高いというような場合応用例自然言語処理音声認識私は Deep Learning を勉強しています

28 Deep Learning の特徴 ( まとめ ) 特徴量を設計する必要がない適切な特徴量を獲得できるため精度が高い他の機械学習アルゴリズムに比べ多くの学習データが必要 BlackBox 性が高い学習の過程で何が行われているか見えないただし Uncontrollableというわけではない特徴量の設計はできないが学習データの設計は可能学習済みのネットワークからモデル ( 数式 ) の取り出しができない学習には泥臭い作業が必要 28

29 3. 事例紹介 29

30 郵便番号認識 LeNet (1998) Deep Learning が実用化された最初のケース LeCun による手書き郵便番号認識への応用 Convolutional Neural Network ( 畳み込みニューラルネットワーク ) を利用 30

31 自然言語処理 SmartNews 連日 1000 万件以上の記事のトピックを自動分類記事タイトルと本文から Deep Learning で特徴量を抽出 10 数個のカテゴリに自動分類ニュース画像の判別 (CNN) と組み合わせた例もあり検索エンジンの中身でも Deep Learning 関連技術が徐々につかわれ始めている 31

32 音声認識 YJVOICE (Yahoo! Japan) 2015 年 5 月からサービス提供開始音声検索クエリから4 年半ほどで蓄積した音声データを利用専門スタッフが検聴して発音ラベルを付与カーナビでの使用を想定し自動車内での雑音データを計算機上で加算 1000 時間強の音声データを用いて学習に 1 か月ほどかかった 32

33 金融分野 (FinTech) Capitalico (ALPACA) 自動取引アルゴリズムを生成できるプラットフォーム画像に対するDeep Learning を金融市場関連の時系列解析等に応用トレーダが投資したいチャート上の動きを提供チャートを監視しトレーダが投資したい特定のパターンを検出 2016/3 ios アプリ版をリリース 33

34 人流分析 ABEJA 店舗内のカメラ画像から人流を検出通過人数をヒートマップで表示人物の性別年齢も推定 [ 34

で実施したもの DQN に加えて従来のモンテカルロ法探索木も併用 2016 年 3 月世界最強棋士の一人である李世乭九段との対戦に 4 対 1

35 Google AlphaGo Google が 2014 年に買収した英国ベンチャー企業 DeepMind 社によって開発 Deep Learning 技術の応用である Deep Q- Network (DQN) を適用 DQN は Q 学習を Deep Learning で実施したもの DQN に加えて従来のモンテカルロ法探索木も併用 2016 年 3 月世界最強棋士の一人である李世乭九段との対戦に 4 対 1 で勝利し一躍話題にそれまではゲーム探索の中で囲碁が最も難しくプロに勝利するには数十年掛かるだろうと言われていた Nature Publishing Group

36 自動運転自動運転車の開発を各社が進めているトヨタ日産 Mercedes-Benz BMW VW GM Audi Tesla DeNA x ZMP でロボットタクシーを開発 2020 年のサービスインを目指す Audi は Nvidia の Drive PX を採用 Deep Learning を用いた Computer Vision を搭載車や歩行者などの検出が可能 36

37 弊社事例業種自動車関連通信キャリア企業の研究所出版製造業人材紹介業データの種類画像動画音音声自然言語センサーデータ上記の組み合わせ研究開発課題判別問題回帰画像認識類似画像検索異常検知逐次学習 37

38 自社エンジン高速高精度リアルタイム顔検出弊社手法 Deep Learning で高精度顔検出を実現横顔低コントラスト眼鏡ありでも検出可能フルカスタマイズ可能顔以外の物体検出特殊なカメラや環境に合わせたチューニング従来手法 38

39 異常検知異物検知エンジン異常異物碁石碁盤が正常とした事例です正常データのみで学習可能正常データの数に対して異常データは非常に少なくバリエーションも多い異常の学習データを全て揃えることは困難未知の異常異物も検知正常データ群から外れる部分を抽出しその外れ値が異常であるかを判別器と組み合わせるどこまでの外れ値を異常とするかは課題に合わせてカスタマイズ 39

40 DL による手形状判別手形状を DL による判別するデモデータ収集から学習アプリ作成まで社内で実践してみたものデータ作成用専用アプリを作成学習は GPU ワークステーションを使用判別は NVIDIA Jetson TK1 で動作 GPU でリアルタイムに判別学習は GPU W/S 判別はJetson でも可能 40

41 つくばチャレンジ筑波で毎年開催される移動ロボットに実環境を自律走行させる公開ロボット走行実験 ( コンテスト ) コースの完走を目指すコース上のチェックポイント ( 人と看板 ) を検索 ISP は宇都宮大学尾崎研究室に技術協力チェックポイント ( 看板 ) 検出に Deep Learning を応用宇都宮大学尾崎研究室 MAUV MAUV 予備走行実験の様子 41 今年のチェックポイントの様子 ( 雨天 )

42 データ収集大量の学習画像データを画像合成技術で自動生成 ISP 技術 ( クロマキー合成 ) を利用看板と実地の背景画像を合成し学習データを生成ラベル付け ( 看板の有り無しと看板の位置 ) も自動生成今後は精度向上と Jetson TK1 などの省電力組み込みボード上での実行を目指し来年のつくばチャレンジでは活躍予定! 42

43 4. 開発の実際 43

44 事例 1 DL による手形状判別テーマ : 手形状の認識 44

45 作業フローデータ収集ラベル作成検証学習 45

46 学習内容ネットワーク構造 CIFAR10 データセットで有効なネットワークを少変更 32x32 RGB 10カテゴリ今回は40x40, 8カテゴリ 32x32では手が小さくなった為学習係数はで固定 Caffe を利用 46

47 DeepLearning/CNN の性能を伸ばす為の工夫データ拡張 Data Augmentation Elastic Distortion 前処理 PCA: 色の偏りを利用 GCN: 平均 0 分散 1 ZCA Whitening: ピクセル間の相関 47

48 実験結果 - データ拡張効果データ拡張 2 倍学習正答率 [ % ] ベースライン (2000 回学習 ) データ拡張 (2000 回学習 ) データ拡張 (4000 回学習 ) 枚 / 形状全 4,800 枚 1200 枚 / 形状全 7,200 枚 2100 枚 / 形状全 12,600 枚 10 倍にデータ拡張一度に 100 枚単位で学習 48

49 5. 組込みにおける DL の実装 49

50 エッジコンピューティングユーザに近い位置で処理を行う通信帯域の削減サービスリアルタイム性スタンドアロンでのサービス 50

51 Deep Learning の特性大量の積和演算並列処理ヘテロジーニアスコンピューティングそもそも CPUで計算することが非効率学習結果の利用だけであれば計算量もそこそこ計算量が条件に拠らず一定であり処理時間が保証可能超大量のデータを短時間で学習させる必要がなければエッジでも十分に処理が可能データ駆動型社会では AIの目となり耳となり ( センサ ) 手となり足となる ( ロボティクス ) ようなモノが必要さあ我々の出番だ 51

52 ARM Neon ARM NEON マルチメディア / 信号処理向けの SIMD 命令セット Uncanny Vision 製 UncannyDL NEON 命令を利用するDeep Learning (CNN) ライブラリ同社製画像処理ライブラリ UncannyCV 等と組み合わせ ADAS 等に 52

53 Uncanny DL アルゴリズムの最適化 C 言語レベルでの最適化 Neon の特性を活用アセンブラ化データ管理最適化キャッシュ最適化 2016 BTG-Consulting 53

54 Uncanny CV 2016 BTG-Consulting 54

55 NVIDIA CUDA (GPGPU) NVIDIA 製 GPGPU 向け開発環境 cudnn 等のライブラリを利用生で処理を書くことも可能 CUDA に対応したミドルウェア (Caffe, Chainer, Tensorflow 等 ) が利用可能評価キット Jetson TX1 Tegra X1 (ARM A57 x 4 + A53 x 4 + CUDA CORE x 256) Jetson TK1 Tegra K1 (ARM A15 + CUDA CORE x 192) 自動運転開発プラットフォーム Drive PX Tegra X1 x 2 55

56 FPGA の利用 2016 Xilinx 56

57 Xilinx Auviz Systems 製 IP Core Auviz DNN 2016 Xilinx 57

58 Altera 2016 Altera 58

59 Altera 2016 Altera 59

60 Synopsys EV6x (DL 専用エンジン ) 512bit DSP を有するハイパワー ARC コアとプログラマラブルな CNN Engine の組み合わせワークステーションで学習したネットワークを CNN Graph Mapping Tool でマッピング可能 2016 Synopsis, Inc. 60

61 Synopsys EV6x (DL 専用エンジン ) ADAS および監視カメラシステムなどを想定 4K 画像に対応可能 OpenCV, OpenVX, OpenCL, MetaWare による開発 2016 Synopsis, Inc. 61

62 弊社事例 1 NVIDIA Jetson TK1 NVIDIA Tegra K1 SOC 搭載評価ボード先ほどの手形状判別を Jetson TK1 上に構築 62

63 ISP + Jetson TK1 + cudnn v2 caffe をそのまま移植 (Python / C++ / cudnnv1) 判別に 23~25ms... caffe の python 部分を削除判別に 20ms ~ 30ms cudnnv2 ベースの ISP 独自実装判別に5ms 程度デバイス制御回りの工夫カメラから画像取得 Loop 判別画面表示 63

64 弊社事例 2 Xilinx Zynq tiny-cnn を Xilinx Zynq7020 上に実装で公開されている C++ 実装サンプルの LeNet による MNIST 手書き文字認識を FPGA 化 LeNet は Convolition 3 層 Sampling 2 層 Fully Connected 1 層の小さなネットワーク入力する文字データは 28 画素 x28 画素のグレイスケール画像ネットワークパラメータ ( 5 万 ) は Zynq7020 の BRAM に全部載った高位合成ツール (SDSoC) で開発 C++ のテンプレートメタプログラミングを利用しているため任意サイズのネットワークに対応した HDL 生成が可能レイヤー毎に固定小数点の有効桁数をチューニングリソース使用量の削減に寄与 64

65 LeNet ロジック配置図 DRAM L5 層パラメータ AXI-BUS インターコネクト ( 高速 ) 画像入力 DMA L5 層パラメータ入力 DMA クラシファイ出力 DMA MNIST 手書き文字認式オフロードロジック部 L1,L2,L3,L4,L6 パラメータ (HW 定数 ) ARM 高速バス制御入出力 Zynq-A9 CPU ARM 低速バス Zynq7000 MNIST 手書き文字認識では L5 層のパラメータが全パラメータの 94% を占めるため L5 層のパラメータを外部に配置しそれ以外のパラメータは HW に直接組み込んでいる SDSoC で開発を行った場合はオフロードロジック ( 関数 ) に必要なパラメータの DMA 及びロジックの制御入出力は自動で生成される 65

66 SDSoC でのブロック図 ISP 作成の LeNet ロジック SDSoC が自動生成する回路便利! 66

67 LeNet ロジックブロック拡大 L5 層パラメータ入力 DMA 画像入力 DMA FIF FO L1 層パラメメータ 156 語 FIF FO L2 層パラメメータ 12 語 FIF FO L3 層パラメメータ 1516 語 FIF FO L4 層パラメメータ 32 語 FIF FO L5 層パラメメータキャッッシュ FIF FO L6 層パラメメータ 1210 語 FIF FO クララシファイ出力 DMA L1,L3,L5 層は畳み込み層で処理が重く層別パイプライン化でのインターバルの決定要素になる L1,L3,L5 各層で処理量が違うので並列度を変えて各層のインターバルを合わせている各層のネットワークパラメータ及び並列度パラメータはC++ テンプレートのパラメータで変更可能 67

68 エッジ側開発上の注意点 HW 化を念頭に置いたニューラルネットワーク設計が必要あまり大きなネットワークは利用できない問題設定が重要ネットワークの表現力に収まるような問題設定とする複雑な処理が必要であればクラウド側との分業でヒューリスティックな工夫も大切 68

69 技術公開サイト技ラボ様々な技術情報を公開しています XchainerをGPU対応させてみた株式会社システム計画研究所 ISP Research Institute of Systems Planning, Inc. TEL: ChainerでStacked Auto-Encoderを試してみたひとだからできること技術者として担うにたる仕事をしたい求めるものは創造そのためには広く浅くよりより深く先端へ 69

Deep Learning によるビッグデータ解析 ~ 手法や CUDA による高速化 2014 年 9 月 5 日 G-DEP ソリューションパートナー株式会社システム計画研究所奥村義和

Deep Learning によるビッグデータ解析 ~ 手法や CUDA による高速化 2014 年 9 月 5 日 G-DEP ソリューションパートナー株式会社システム計画研究所奥村義和目次 DeepLearning と GPU G-DEP テストドライブビッグデータ GPU DeepLearning の接点目次 DeepLearningとGPU DeepLearningとは仕組みと計算