ディープラーニングが変える未来 - PFN の事業戦略と Chainer on AWS - Preferred Networks 研究担当 VP 比戸将平

Size: px

Start display at page:

Download "ディープラーニングが変える未来 - PFN の事業戦略と Chainer on AWS - Preferred Networks 研究担当 VP 比戸将平"

ゆりかみやまる
6 years ago
Views:

1 ディープラーニングが変える未来 - PFN の事業戦略と Chainer on AWS - Preferred Networks 研究担当 VP 比戸将平

2 株式会社 Preferred Networks (PFN) 設立 :2014 年 3 月所在地 : 東京本社カリフォルニア州バークレー ( 米国子会社 ) 社員数 : 日本約 150 名米国 7 名人工知能技術 ( ディープラーニング ) パートナー顧客産業応用 (Industrial IoT) 2

3 Agenda ディープラーニングが変える未来 PFNの事業戦略とそれを支えるChainer Chainer on AWS

ディープラーニング ( 深層学習 ) とは層が深いニューラルネットワークを利用した機械学習手法およびその応用 2012 年の大ブレーク以来研究コミュニティのみならず産業界に多く使われてきた 2014 2015 年中に出された関連論文数は 1500 を超える * おそらく 2018 年は 10000 に達しているだろう画像認識音声認識などで劇的な精度向上を果たし

4 ディープラーニング ( 深層学習 ) とは層が深いニューラルネットワークを利用した機械学習手法およびその応用 2012 年の大ブレーク以来研究コミュニティのみならず産業界に多く使われてきた年中に出された関連論文数は 1500 を超える * おそらく 2018 年はに達しているだろう画像認識音声認識などで劇的な精度向上を果たしその多くが既に実用化されている囲碁でも DeepMind の AlphaGo が大きな成果 2014 年の一般画像認識コンテストで優勝した 22 層からなる NN の例 [Google] * 年の一般画像認識コンテストで優勝した 152 層からなる NN の例 [MSRA]

5 最初のブレークスルー : 画像認識コンテストで圧勝 ImageNet (ILSVRC, 1000 クラス分類 ) でエラー率が 26% 16% に激減

classification of skin cancer with deep neural networks [Esteva+,

6 医療応用の現在 : 医療画像解析では専門医に並ぶ診断精度を達成一般物体の画像認識で発展したディープラーニング技術のストレートな応用専門医を超える検出精度を出し始めている ( 左 : 皮膚がん右 : リンパ節転移 ) Dermatologist-level classification of skin cancer with deep neural networks [Esteva+, Nature, 2017] Detecting Cancer Metastases on Gigapixel Pathology Images [Lin+, 2017]

ai partner on Bay Area self-driving ride-hailing pilot, Darrel Etherington,

7 自動運転の現在 : 認識機能にディープラーニング使うのは共通多種センサー : 高精細な深度情報見た目の課題高コスト ( 改善中 ) 画像センサー中心 : 低コスト深度遠方情報が不足し低精度 ( 改善中 ) Drive.ai Lyft and Drive.ai partner on Bay Area self-driving ride-hailing pilot, Darrel Etherington, TechCrunch 雨天夜間走行のデモ動画あり [youtube] Tesla Autopilot: 前後左右遠近 8 種類のカメラ + 超音波 + レーダー

自動運転の未来 : プランニングや制御も置き換え or 一気通貫モデルで運転個別モジュール : 旧来の認識経路計画制御の一部をディープラーニングに一気通貫 : センサー入力から直接アクセルブレーキハンドル制御を出力 Perception, Planning, Control, and

8 自動運転の未来 : プランニングや制御も置き換え or 一気通貫モデルで運転個別モジュール : 旧来の認識経路計画制御の一部をディープラーニングに一気通貫 : センサー入力から直接アクセルブレーキハンドル制御を出力 Perception, Planning, Control, and Coordination for Autonomous Vehicles [Pendleton+, 2017] Adding Navigation to the Equation: Turning Decisions for End-to-End Vehicle Control [Hubschneider+, 2017]

9 縁の下の力持ちとしてのディープラーニングディープラーニングは本物なのか? また AI 冬の時代がやってくるだけか? 一部で極端な楽観や悲観に基づく議論がありまだ混乱状態ただこれまでの冬の時代と違ってすでに実社会で応用されはじめている過度の期待を集めすぎなければ徐々に健全な活用は広がっていくはず普及したAI 応用は AI とは呼ばれなくなる( レコメンドエージェント ) 特に認識については人間と同等あるいはそれを超える能力

10 Human-Robot Interaction の未来 : ICRA 18 Best Paper Award

MLP CNN LSTM LSTM embedding embedding RGB 画像全検出オブジェクト

11 これも最新のディープラーニングモデルで実現されているクラウドソーシングにより単一のオブジェクトの様々な表現を獲得画像特徴と表現特徴を比較ロボットアーム制御系最もマッチする対象オブジェクト移動対象のビン SSD MLP MLP MLP CNN LSTM LSTM embedding embedding RGB 画像全検出オブジェクト音声認識結果のテキスト Place the fluffy brownish stuff in the top right bin

12 Agenda ディープラーニングが変える未来 PFNの事業戦略とそれを支えるChainer Chainer on AWS

13 PFN のフォーカス :AI 技術の産業応用の最先端を走る Cloud Speech Text Game Photo Smart City Consumer Healthcare Industry4.0 Industrial Humanoid Robot Automotive Device Infrastructure Factory Robot Industrial IoT

14 バイオ応用 :3 次元化マルチモーダル化 MRIは連続した輪切り画像として扱うよりも3 次元情報として扱ったほうが有用単一の情報源だけでなく多様なデータをいかに収集統合して解析するか元データ正解ラベルモデルの予測結果国立がん研究センター様提供の MRI 画像列に対し脳腫瘍を含む部位を領域セグメンテーション (JST CREST の成果 ) JST CREST 人工知能を用いた統合的ながん医療システムの開発国立がん研産総研 Preferred Networks

15 製造業応用 : 異常検知予防保全外観検査 : 画像認識技術を応用したソフトウェアサービス市場の盛り上がり射出成形機の予防保全 : 逆流防止弁の摩耗をバックフローモニタ時系列から推測ロボショット射出成形機 : 樹脂を金型に流し込んで成形 PFN の外観検査 : キズの箇所を特定不要画像単位で正解付けモデル学習可視化精度評価をブラウザで射出成形機に AI 搭載ファナックが深層学習技術で予防保全 [Monoist] [ プレスリリース ]

16 PaintsChainer: ディープラーニングを用いた自動着色サービス

17 ( 参考 ) エンターテイメント業界における実用化白泉社博報堂 DY デジタル Preferred Networks による自動着色マンガ配信

18 Chainer: ディープラーニング用の Python ライブラリ

19 Chainer を用いたモデル定義学習実行の Python スクリプト # 画像識別モデルの定義 (LeNet) model = LeNet5() model = L.Classifier(model) # リスト形式のデータセットを仮定 dataset = [(x1, t1), (x2, t2),...] # ミニバッチデータセットを返すイテレータ it = iterators.serialiterator(dataset, batchsize=32) # 最適化手法 opt = optimizers.sgd(lr=0.01) opt.setup(model) updater = training.standardupdater(it, opt, device=0) # device=-1 if you use CPU trainer = training.trainer(updater, stop_trigger=(100, 'epoch')) trainer.run()

研究開発を加速する Chainer ファミリー CuPy: Chainer の GPU バックエンド (NumPy 互換 GPU Array

高いスケーラビリティ (128GPU で 100 倍の高速化 ) ChainerRL: 深層強化学習ライブラリ DQN, DDPG, A3C,

OpenAI Gym サポート ChainerCV: 画像認識アルゴリズムデータセットラッパーパッケージ Faster R-CNN,

20 研究開発を加速する Chainer ファミリー CuPy: Chainer の GPU バックエンド (NumPy 互換 GPU Array ライブラリ ) NumPy-like に書かれた計算コードを GPU で実行 ChainerMN: 分散深層学習用追加パッケージ高いスケーラビリティ (128GPU で 100 倍の高速化 ) ChainerRL: 深層強化学習ライブラリ DQN, DDPG, A3C, ACER, NSQ, PCL, etc. OpenAI Gym サポート ChainerCV: 画像認識アルゴリズムデータセットラッパーパッケージ Faster R-CNN, Single Shot Multibox Detector (SSD), SegNet, etc. Chainer Chemistry: グラフ構造を持つ化合物データ等でディープラーニング Chainer UI: モデル学習の実行状況をモニタリングスナップショット等

21 ライトユーザーがすぐにディープラーニングを応用できるように ChainerCV: a Library for Deep Learning in Computer Vision [Niitani, Ogawa, Saito, Saito, ACM MM 2017] ロボット制御 x ゲームプレイ Reinforcement Learning

15 minutes NVIDIA CEO Jensen Huang 氏による学会 SC 17

22 ChainerMN とプライベート GPU クラスタを用いた研究開発環境 1024GPU 環境を用いて画像認識ベンチマークで世界一を達成 (2017 年 11 月 ) ImageNet in 15 minutes NVIDIA CEO Jensen Huang 氏による学会 SC 17 での講演

23 前半のまとめディープラーニングの産業応用画像認識アプリケーションを中心とした商用化が加速多種多様なデータを用いた複雑な実問題への取り組みも開始それを取り巻く周辺動向ソフトウェアとハードウェア双方の激しい開発競争 : 高速化大規模化標準化ユーザー層の拡大研究者だけでなく技術を使いこなせるエンジニアの育成産業応用を支えるPFNの仕組み研究開発の推進を第一に考え優秀な人の採用と環境整備サポート

24 Agenda ディープラーニングが変える未来 PFNの事業戦略とそれを支えるChainer Chainer on AWS

25 でも Chainer って AWS と相性よくないでしょ? もはや誤解です! 1) ChainerMNはInfiniBand 前提だからAWSでは性能が出ない! 2) ChainerMN 用 GPUクラスタをAWSに自前で構築するのは大変! 3) Chainerでモデル構築するマネージドサービスがない! 4) Chainerモデル学習してもAWSのエッジで推論に使えない! 壁

26 既発表情報 AWS における Chainer のサポート AWS Deep Learning AMI サポート現在最新メジャー版の v4.0 を搭載ドキュメントの充実 Chainer on AWS のチュートリアル

27 5/25 リリース 1) ChainerMN は InfiniBand 前提だから AWS では性能が出ない! Chainer v4.1 & ChainerMN v1.3をお使い下さい! 追加機能 1: Double bufferingで通常のイーサネット環境でも高い分散性能 1 ステップ古い勾配を利用してモデル計算を同時に行い通信遅延を隠蔽追加機能 2: FP16 All-Reduce: 半精度浮動小数点数を利用し通信量を半減

28 Samples per second 5/25 リリース Infiniband の無い環境における ImageNet 学習速度の向上 10Gb イーサネットにおいても InfiniBand+FP32 時と遜色ない学習速度 FP16と1ステップ古い勾配を用いることによるモデル精度への影響は微少 8192 モデル精度 76.4% InfiniBand 2048 モデル精度 75.8% 10 Gb イーサネット 512 モデル精度 76.4% #GPUs 10 Gb イーサネット + Double Buffering + FP16 Allreduce

29 Samples per second AWS の p3 インスタンスにおける性能評価実験 25Gbps イーサネット / 32GPU 環境で 95% の分散性能を達成 8000 モデル精度 75.8% Ideal #GPUs Double Buffering + FP16 Allreduce

30 6/1 発表 2) ChainerMN 用 GPU クラスタを AWS に自前で構築するのは大変! Chainer/ChhainerMN の CloudFormation テンプレート公開!

31 6/1 発表 CloudFormation で簡単にマルチノードの ChainerMN 環境を実現テンプレートで定義 : ChainerMN 入りAMI + クラスタ MPI ブラウザやCLIからテンプレートを使ってStackの作成を実行 AWSがプロビジョニング &Stackとリソースを設定

32 6/1 発表 3) Chainer でモデル構築するマネージドサービスがない! Amazon SageMakerがChainerに対応! GPUインスタンスを指定してNotebookを立ち上げすぐに利用可能 sagemaker-chainer-container が ChainerMN もサポート (MPI etc)

33 6/1 発表 Chainer on SageMaker (1/3): Estimator を使って学習 Job 実行 Notebook 上でsagemaker.chainer.estimatorをimport 学習スクリプト IAM role インスタンス種類/ 数パラメータ等をセットしたestimatorのインスタンスを作成 estimator.fit() で学習 Jobを実行

34 6/1 発表 Chainer on SageMaker (2/3): Deploy で予測インスタンス作成学習 Jobが完了学習済みモデルを予測に利用できる estimator.deploy() で学習用とは別の予測インスタンスを作成学習は GPU インスタンス予測は CPU インスタンスなども可能

35 6/1 発表 Chainer on SageMaker (3/3): Predict で予測タスク実行 estimator.predict() でentry_point 中のpredict_fn 関数を実行出力の精度評価や可視化などをNotebook 上で実行例 :ChainerCV の可視化機能

36 6/1 発表 4) Chainer モデル学習しても AWS のエッジで予測に使えない! AWS GreengrassにChainerプリコンパイル済みライブラリ追加! AWS DeepLens Rasberry Pi NVIDIA Jetson TX2をサポート

37 まとめディープラーニングを用いた応用は着実に広がっておりすでに実用化されているサービスや製品が出回っている分野も増えています PFNは最先端の研究を行うとともにその応用に置いて各分野で世界的パートナーと組むことでディープラーニングをいち早く商用化する戦略をとっています Chainer/ChainerMNはより多くのユーザーに使って頂けることを目指しておりイーサネット環境向け高速化 CloudFormation/SageMaker/Greengrass 対応を達成しましたがさらにクラウドユーザー向けの開発を進めてまいります

GTC Japan, 2018/09/14 得居誠也, Preferred Networks Chainer における深層学習の高速化 Optimizing Deep Learning with Chainer

GTC Japan, 2018/09/14 得居誠也, Preferred Networks Chainer における深層学習の高速化 Optimizing Deep Learning with Chainer Chainer のミッション Deep Learning とその応用の研究開発を加速させる環境セットアップが速いすぐ習熟素早いコーディング実験の高速化結果をさっと公開論文化