b2-reinforcement-learning-mw

Size: px

Start display at page:

Download "b2-reinforcement-learning-mw"

なごみたかはし
4 years ago
Views:

1 強化学習最適制御のためのディープラーニングの応用吉田剛士 2015 The MathWorks, Inc. 1

2 はじめに強化学習 = Reinforcement Learning AlphaGo がプロ棋士に勝利 (2015) そして人類を超える (2017) 強化学習の特徴自律的に学習し賢くなっていく 2

3 Agenda : 強化学習 ~ 最適制御のためのディープラーニングの応用 ~ 強化学習とは MATLAB による強化学習まとめ 3

4 強化学習とは? PLANT 最適制御問題の解を求めるためのアルゴリズムの 1 つ A a t r t s t S 収益 ( 累積報酬 ) の期待値の最大化 CONTROLLER E γ t r s t, a t, s t+1 t γr τ+1 r τ+1 r τ+2 r τ+t t 適用条件制御対象 ( 環境 / プラント ) の出力である状態 s t がマルコフ決定過程 (MDP) で表現できること Markov Decision Process» 状態遷移に関する条件で時刻 t において状態 s の場合に行動 a を選択した時次の時刻において状態 s となる確率は時刻 t 1 以前の状態および行動には依存しないつまり次の関係が成立する Pr s t+1 = s s t = s, a t = a = Pr s t+1 = s s t = s, a t = a, s t 1, a t 1, s 0, a 0 4

5 閉ループ制御 vs. 強化学習閉ループ制御強化学習 PLANT ENVIRONMENT a t s t a t r t s t CONTROLLER AGENT 前ページに登場した収益の期待値を最大化するような方策関数 π の探索が目的時々刻々報酬 (r t ) を環境から受け取る r t r s t = s, a t = a, s t+1 = s 状態 s t はマルコフ決定過程状態の確率変数列 s t t は独立同分布を持つ行動の確率変数列 a t t も独立同分布を持つ方策関数 π : 状態が s の時に行動 a を選択する確率 π a s Pr a s 5

6 強化学習と機械学習 / ディープラーニングの関係機械学習強化学習 : 教師なし学習 [No Labeled Data] 教師あり学習 [Labeled Data] クラスタリング分類回帰強化学習 [Interaction Data] 意思決定制御試行の繰り返しによりデータを集め収集されたデータを用いて学習を進め [interaction] 振る舞いの習得またはタスクの完遂を目指すディープラーニング ENVIRONMENT 複雑なシステムの制御にはディープなニューラルネットワークが活用される [Deep Reinforcement Learning] a t r t s t AGENT 6

7 従来手法とは異なるアプローチ画像を状態量とした例行動環境状態 : 画像 (50x50) 角速度報酬 Policy update Reinforcement Learning Algorithm Policy エージェント 7

8 適用検討分野自動運転クルーズコントロールレーンキープアシストシステム障害物回避パスプランニング最適ドライバーモデルの構築 FA/ ロボットアームバラ積み把持点の自動検出嵌合作業自己 / 複数台干渉回避 FA/AGV/ フィールドロボット障害物回避悪路での直走性獲得メディカル X 線照射装置エネルギー最適運用計画航空宇宙 /UAV 飛行経路プランニング通信動的チャネル最適化土木建築エレベーターの最適運用自動建築システム経済景気政策決定その他交通渋滞回避のための信号機制御設備のリソーススケジューリング 8

Reinforcement Learning Toolbox 強化学習のフローを網羅的にサポート MATLAB 関数 / Simulink モデルによる環境とのインターフェース強化学習用 RL Agent ブロックエージェント作成のためのネットワーク構築環境学習アルゴリズム Q-Learning DQN / Double DQN SARSA REINFORCE *1 DDPG A2C

9 Reinforcement Learning Toolbox 強化学習のフローを網羅的にサポート MATLAB 関数 / Simulink モデルによる環境とのインターフェース強化学習用 RL Agent ブロックエージェント作成のためのネットワーク構築環境学習アルゴリズム Q-Learning DQN / Double DQN SARSA REINFORCE *1 DDPG A2C *1,*2 並列学習 (GORILA / A3C *1,*2 ) 配布のための最適方策の関数化行動 Policy update 環境 Reinforcement Learning Algorithm Policy 報酬エージェント状態環境の作成報酬の定義エージェント構築学習 ( 最適化 ) 学習結果の再現最適方策の配布 R2019a 時点では *1. 行動空間が離散であることを要求します *2. 1 つのネットワークで状態価値関数および方策関数を表現することができません 9

10 Agenda 強化学習 ~ 最適制御のためのディープラーニングの応用 ~ 強化学習とは MATLAB による強化学習まとめ 10

11 例題 :2 足歩行ロボットの歩行動作獲得制御入力 (Num of Input: 6) センサー出力足首膝付け根 x 2 足 =6 関節トルクそれぞれ -3[Nm] から 3[Nm] の連続値センサー出力 (Num of output :23) 胴体の姿勢 (11 個 ) 重心位置 Y( 横方向 ) とZ( 高さ ) 重心速度 (X( 進行方向 ),Y( 横方向 ),Z( 高さ )) ヨー角ピッチ角ロール角ヨー角速度ピッチ角速度ロール角速度両足の関節 (12 個 ): 両足の3つの関節の角度と角速度ロボットが直線上を歩くように制御するには? 11

12 1. 環境の作成制御対象であるロボットを含む環境のモデル化環境の作成報酬の定義エージェント構築センサー出力学習 ( 最適化 ) 学習結果の再現最適方策の配布 Simscape Multibody 12

13 環境に失敗を設計シミュレーション早期終了条件の定義 1. 転倒胴体の高さ (Z) が 0.1m 以下になる環境の作成報酬の定義 2. 転倒の予兆で復帰不能胴体のロール角ピッチ角ヨー角が 45 度以上になる 3. 軌道から大幅にずれる胴体の横方向位置 (Y) が 1m 以上直線から離れるエージェント構築学習 ( 最適化 ) 学習結果の再現最適方策の配布 13

14 2. 報酬の設計 4. 力の大きさを減点各トルク値の 2 乗和を罰則として採用環境の作成報酬関数の定義 r t : = v t {3y z z 0 2 } + 25 Ts Tf 1 50 i 6 u i,t 1 2 報酬の定義エージェント構築 1. 前進を加点前進速度を報酬として採用 1 学習 ( 最適化 ) 2. 不安定さを減点 Y 方向および Z 方向の初期値からの差を罰則として採用 4 2 学習結果の再現最適方策の配布 3. 正規化した Δt を加点シミュレーション時間を報酬として採用 3 14

15 RL Agent ブロックの配置 RL Agent block Reinforcement Learning Toolbox が用意する環境インターフェース向け Simulink モデル向けのブロック報酬と ( シミュレーションの ) 終了フラグをモデルに配置環境の作成報酬の定義エージェント構築学習 ( 最適化 ) 学習結果の再現最適方策の配布 env = rlsimulinkenv(mdl, blk, ); 15

.. mystepfunction(action,loggedsignals,envconstants) Force = Action; a t % Unpack the state vector from the

16 環境および報酬の用意 MATLAB コードの場合 t ごとの環境の挙動 ( 時刻 t から時刻 t+1 への環境の更新 ) をコード化例 : Cart Pole の場合 env = rlfunctionenv(,'mystepfunction', ); function [NextObs, Reward, IsDone, LoggedSignals] =... mystepfunction(action,loggedsignals,envconstants) Force = Action; a t % Unpack the state vector from the logged signals State = LoggedSignals.State; XDot = State(2); s t : 10,10 F = a t st = x dx dt θ dθ dt 環境の作成報酬の定義エージェント構築学習 ( 最適化 ) 学習結果の再現最適方策の配布 16

17 環境および報酬の用意 ( 続き ) MATLAB コードの場合 % Euler integration LoggedSignals.State = State +... EnvConstants.Ts.*[XDot;XDotDot;ThetaDot;ThetaDotDot]; % Transform state to observation NextObs = LoggedSignals.State; % Check terminal condition X = NextObs(1); Theta = NextObs(3); IsDone = abs(x) > EnvConstants.XThreshold... abs(theta) > EnvConstants.ThetaThresholdRadians; % Get reward if ~IsDone Reward = 1; else Reward = -5; end r t s t+1 = s t + Δt シミュレーション ( 早期 ) 終了条件 dx dt d 2 x dt 2 dθ dt d 2 θ dt 2 環境の作成報酬の定義エージェント構築学習 ( 最適化 ) 学習結果の再現最適方策の配布 17

18 3. エージェント構築 1. アルゴリズムの選択 R2019a でサポートされるアルゴリズム環境の作成報酬の定義 Q-Learning rlqagent DQN Double DQN rldqnagent A2C /A3C rlacagent エージェント構築学習 ( 最適化 ) REINFORCE (Policy Gradients) rlpgagent DDPG rlddpgagent 学習結果の再現最適方策の配布 SARSA rlsarsaagent R2019a 時点では 1. rlpgagent および rlacagent は行動空間が離散であることを要求します 2. rlacagent は 1 つのネットワークで状態価値関数および方策関数を表現することができません 18

19 3. エージェント構築 Actor & Critic 用ネットワークの作成 2. ネットワークの構築 Q-Learning 系方策勾配系 agent = rldqnagent(critic, agentoptions); agent = rlddpgagent(actor, critic, agentoptions); 環境の作成報酬の定義エージェント構築 Agent 学習 ( 最適化 ) 学習結果の再現状態 s Actor π a s V s Critic or Q s, a 行動 a 最適方策の配布 19

20 Deep Network Designer 対話的なネットワーク作成アプリ Simulink のようにマウス操作でネットワークを作成ネットワークの整合性をチェックする Deep Network Analyzer 作成したネットワークに対するコード生成 Deep Learning Toolbox 20

21 Model Importers Keras-TensorFlow をはじめとする他のフレームワークからのネットワークの移行 PyTorch Caffe2 TensorFlow Keras- TensorFlow exportonnxnetwork importonnxnetwork ONNX mxnet Caffe Core ML Chainer Cognitive Toolkit ONNX = Open Neural Network Exchange Format Deep Learning Toolbox 21

22 3. エージェント構築 Hyper-Parameters の設定 Actor の定義 actoroptions = rlrepresentationoptions('optimizer','adam','learnrate',1e-4,... 'GradientThreshold',1,'L2RegularizationFactor',1e-5); actor = rlrepresentation(actornetwork,,actoroptions); Critic の定義 criticoptions = critic = rlrepresentation(criticnetwork,,criticoptions); Agent Option の定義 DDPG の例 dt = 0.05; Tf = 20; agentoptions = rlddpgagentoptions('sampletime', dt, 'TargetSmoothFactor',1e-3,... 'ExperienceBufferLength', 1e6, 'DiscountFactor', 0.99, 'MiniBatchSize', 128,... 'UseDevice','GPU'); 環境の作成報酬の定義エージェント構築学習 ( 最適化 ) 学習結果の再現最適方策の配布 22

クラスタ環境を利用したシミュレーションの並列化高性能な NVIDIA GPU を使ったディープネットワークの学習の高速化

23 4. 学習 ( 最適化 ) trainingstats = train(agent,env,trainoptions); 環境の作成報酬の定義エージェント構築学習 ( 最適化 ) 学習の高速化マルチコア / マルチ CPUs クラスタ環境を利用したシミュレーションの並列化高性能な NVIDIA GPU を使ったディープネットワークの学習の高速化学習結果の再現最適方策の配布 Parallel Computing Toolbox MATLAB Parallel Server 23

24 5. 学習結果の再現 simoptions = rlsimulationoptions('maxsteps', 400); experience = sim(env, agent, simoptions); 環境の作成報酬の定義エージェント構築学習 ( 最適化 ) 学習結果の再現最適方策の配布 24

Standalone Executable MATLAB Runtime 学習 ( 最適化 ) 学習結果の再現最適方策の配布 Web

25 6. 最適方策の配布エージェントが習得した最適方策の配布準備方策をファイル (MAT 形式 ) として保存方策のMATLAB 関数化 generatepolicyfunction 環境の作成報酬の定義エージェント構築最適方策のスタンドアロン化 Standalone Executable MATLAB Runtime 学習 ( 最適化 ) 学習結果の再現最適方策の配布 Web Application MATLAB Compiler MATLAB Compiler SDK MATLAB Production Server 25

26 Agenda 強化学習 ~ 最適制御のためのディープラーニングの応用 ~ 強化学習とは MATLAB による強化学習まとめ 26

をはじめとするプラントモデリング製品との連携 SimEvents による待ち行列などの離散的事象問題への取り組みレファレンス

27 まとめ強化学習 ~ 最適制御のためのディープラーニングの応用 ~ 強化学習専用製品 Reinforcement Learning Toolbox の登場 MATLAB / Simulink Product Family が提供する環境の構築 Simscape をはじめとするプラントモデリング製品との連携 SimEvents による待ち行列などの離散的事象問題への取り組みレファレンスアプリケーションを多数提供 27

AI技術の紹介とセンサーデータ解析への応用

AI技術の紹介とセンサーデータ解析への応用 AI を活用したセンサーデータ解析 MathWorks Japan アプリケーションエンジニアリンググループアプリケーションエンジニア吉田剛士 2018 The MathWorks, Inc. 1 AI を活用したセンサーデータ解析 11:20-11:50 MATLAB による AI 作成アプリを使った簡易的な解析学習モデルのパラメータ自動調整学習モデルのスタンドアロン化 2 課題 : ターボファンエンジンの予知保全