スライド 1

Size: px

Start display at page:

Download "スライド 1"

ちかこすすむ
5 years ago
Views:

1 Computational Photography x Deep Learning モバイルカメラへの応用 2016 年 2 月 9 日株式会社モルフォ

2 モルフォ設立 12 年目東大発世界へ技術提供実用的な画像処理技術が強み社員 60 人の研究開発型組織 2

3 ビジョン全てのカメラに知能を持たせる画像処理と画像認識技術を融合する事で IoV(Internet of Vision) の世界を実現する 3

4 これからの世界ビッグデータ解析タブレット映像用カメラスマートフォン画像センシング車載用カメラ医療用カメラデジタルカメラ監視カメラ CCD カメラ 4

5 IoV 実現への道筋 Computational Photography Deep Learning 戦略 1 カメラデバイス事業の伸長拡大戦略 2 ネットワークサービス事業の確立 IoV の世界を実現 5

6 モルフォの技術 Deep Learning 多層構造の最先端ニューラルネットワーク技術による機械学習 Search シーン認識タグ付け物体検出等画像処理と画像認識技術を融合する事で IoV(Internet of Vision) の世界を実現 Shoot 手ブレ補正パノラマ撮影 HDR 撮影 /WDR 補正ノイズ除去等 Show 高速フォトビューワ等 Computational Photography カメラの物理的光学的な限界から生じる課題を軽減解決することを目的とした技術 6

7 ソフトウェアライセンス数の推移 10 億 5 億 11 億累計ライセンス突破 (2015 年 3 月プレスリリース ) 年

8 オープンソースなしには開発はできません Ubuntu, gcc, android, mongodb, python, python-numpy, python-scipy, matplotlib, h5py, ipython, python-sqlalchemy, pythonpip, python-progressbar, curl, sqlite, cmake, gmake, emacs, imagemagick, rdesktop, texlive, doxygen, nautilus, eclipse, ffmpeg, gimp, opencv, vim, opengl, libpng, libc, zlib, caffe, torch, Django, openjdk, openssl, xserver, gnuplot, openblas, gsl, apache2, subversion, mercurial, git, etc 8

9 モルフォの Computational Photography に関する取組み 9

10 モルフォの根幹技術 SOFTGYRO 1 自由度が高いほど高精度な動き検出が可能 10

11 手ぶれ補正 11

12 ストロボ 12

13 Refocus 13

14 パノラマ 14

15 モルフォの Deep Learning に関する取組み 15

16 Deep Learning 教師あり学習 Deep Learning 関連製品の 9 割以上がこの形アプリケーションによっては膨大なデータが必要教師なし学習ラベルデータが必要ないときに有効強化学習ある環境で選択された行動のフィードバックをもとに選択された行動の価値を高める Atari ゲーム ( スペースインベーダ等 ) の強化学習米 Google DeepMind 16

17 Deep Learning による開発の流れ学習環境学習済みモデルの実行環境入力データ画像音声テキストなど PC (CPU + GPU) 小規模 PC 数台 GPU 数個大規模 PC 数百台など GPU~100 台学習されたモデルデータ ( 重み係数 ) PC (CPU + GPU) モバイル端末専用チップ DSP FPGA 17

18 Deep Learning オープンソースフレームワーク Torch (Twitter, DeepMind, Facebook) Caffe (UCBerkeley) TensorFlow (Google) CNTK (Microsoft) Veles (Samsung) Mxnet (DMLC 研究者中心のオープンソースグループ) NEON (Nervana アメリカのスタートアップ) Chainer (Preferred Infrastructure) etc 18

19 Deep Learning へのアプローチどんなデバイスでも認識サーバ側のみで学習学習入力データ Caffe + α 認識モデル + タブレット PC 等々 19

20 モルフォの強み Deep Learning認識器の軽量化構造最適化高い認識率と高速処理を実現スマートフォン上で動作する軽量な認識器からサーバ上で動作する高認識率の認識器まで幅広い用途に対応認識器アーキテクチャの性能高 ex. Oxford, Google, Facebook etc. 認識率 Deep Learning モルフォスマートフォン向けシーン認識モルフォで対応可能従来技術 SVM等低高 (サーバ向け) 計算コスト低 (ｽﾏｰﾄﾌｫﾝ向け) 20

21 国内ビジネスパートナーフォトストレージ情報通信産業 (NTT コム 2 社 ) フォトストレージフォトギャラリーウェブプリントデジタルカメラ ( 富士フイルム ) フィルタリングデジタルマーケティングウェブ (3 社 ) 検査診断 ADAS 非 IT 産業車載 ( デンソー 4 社 ) 21

22 データの重要性 1 ラベルのコスト例 : シーン認識 ( 画像分類 ) 1200 万画像 x 1000 ラベル x0.1 円 =12 億円! 画像アノテーションコスト < < 画像分類ラベル : 男性屋内物体検出ラベル : 顔男性セグメンテーションラベル : 顔 22

23 データの重要性 2 手間のかかるデータ収集大量ラベルの集め方一般向け (B2C) : クラウドソーシングやウェブ専門家向け (B2B) : 独自のシステム医療建設業界などの専門的なデータオープンリソース ( 研究開発目的 ): 等オープンでも NG: ( 非商用でもダメサービスに貢献する場合のみ OK) 23

24 Morpho Deep Learning System 画像管理システム学習管理システム画像 DB 学習画像管理サーバー 2 学習画像の整理画像整理担当者 1 学習画像の保存学習実施者 6 エンジンの評価 3 学習開始指示 5 エンジン生成学習用サーバー (GPU 搭載 ) 4 学習用サーバーへ割当画像に特化した学習システム大量の画像管理とアノテーションの効率化学習タスク自動スケジューラ誰でも使えるシンプルなインターフェース 24

25 写真整理は大変! 25

26 どこに写真を保存していますか? これからクラウドストレージも主要な保存先に今まで SD カード /CD/DVD/Blu-ray などのメディア PC のハードディスク 26

27 携帯端末上での Deep Neural Network 実用化クラウドオフローディングの重要性ネットワークトラフィックの軽減サービスの多様性汎用性クラウド側とエッジ側でのサービスの使い分け GPU なしでも高い認識率の画像認識が使いたい 27

28 Morpho Scene Classifier 28

29 Morpho Scene Classifier 学習学習用画像学習システム Morpho Deep Learning System モデルハラメータ (OS 非依存 ) 認識認識器認識対象画像認識エンジン Morpho Scene Classifier ( 各プラットフォーム向け C ライブラリ ) モデルハラメータ認識エンジン Linux 用 Windows 用 Android 用認識結果 ( 猫 ) 採用実績富士フイルム株式会社様 NTT コミュニケーションズ株式会社様 29

30 Computational Photography x Deep Learning Computational Photography カメラの物理的光学的な限界から生じる課題を軽減解決する認識精度を上げる前処理視認性を上げる後処理として手ぶれ補正 Deep Neural Network 画像認識物体検出ノイズ除去 + + ダイナミックレンジ補正霧除去 30

31 車載市場での取り組み DENSO 自動車部品業界のリーディングカンパニー Morpho 画像処理技術 Deep Learning 共同技術開発により先進運転支援での技術開発へ参入 Deep Learning を自動運転に関する基礎研究へ活用 2015 年 12 月 11 日付適時開示 31

32 認識精度を上げる前処理手ぶれ補正ノイズ除去 32

33 視認性を上げる後処理霧除去ワイドダイナミックレンジ 33

34 Hyperlapse 34

35 新たなイメーシンクテクノロシーを創造する集団として革新的な技術を最適なかたちで実用化させ技術の発展と豊かな文化の実現に貢献します 35

Deep Learningベースの画像認識エンジンのご提案

Deep Learningベースの画像認識エンジンのご提案 Deep Learning モバイルイメージングへの応用 2015年5月26日株式会社モルフォ概要 1. 会社紹介 (10 分 ) 2. Deep Learningに関する取組み(40 分 ) 2 モルフォ東大発ベンチャーとしてスタート設立 11 年 7 年目マザーズ上場実用的な画像処理技術が強み従業員数 60 人弱の