自動運転開発に向けた MATLAB/Simulink 活用ソリューションの提案 MathWorks Japan アプリケーションエンジニアリング部乙部雅則 2016 The MathWorks, Inc. 1
Agenda 背景 ユーザー事例紹介 ADAS 自動運転開発 / 検証を取り巻く課題 シミュレーション環境 検出 認識 画像処理 コンピュータビジョン LiDAR 信号処理 レーダー信号処理 ROS 活用による 自動運転開発 システム開発 検証への展開 車両ダイナミクスを含む自動速度制御 外界環境を含む自動運転 センサーフュージョン ユーザー事例ならびにまとめ 2
Agenda 背景 ユーザー事例紹介 ADAS 自動運転開発 / 検証を取り巻く課題 シミュレーション環境 検出 認識 画像処理 コンピュータビジョン LiDAR 信号処理 レーダー信号処理 ROS 活用による 自動運転開発 システム開発 検証への展開 車両ダイナミクスを含む自動速度制御 外界環境を含む自動運転 センサーフュージョン ユーザー事例ならびにまとめ 3
自動運転 ADAS システムの開発へ向けたチャレンジ 認識 複数のセンサーによるセンサーフュージョン 経路計画 制御 ( 乗り心地 ) アダプティブクルーズコントロールストップ & ゴー ヘッドライトコントロール 複雑化するアルゴリズム 異なるシステムの統合 検証工程の増大 死角検知 車線変更支援 前方衝突防止警告 緊急ブレーキ支援 道路標識認識 車線逸脱警告 先進緊急ブレーキシステム 車線維持システム 後退時支援 From Advance Driver Assistance Systems Market, Drivers, Functions, Continental AG, KSAE 2011 4
自動運転 ADAS システム開発ワークフロー 画像処理 (Computer Vision System Toolbox) 機械学習 (Statistics & Machine Learning Toolbox) REQUIREMENTS DESIGN Sensor Simulation and Acquisition Perception Algorithm Design DESIGN TEST レーダー (Phased Array System Toolbox) 統合シミュレーション (Simulink) Sensor Fusion and Control Logic Rapid Prototyping IMPLEMENTATION REGRE- SSION TEST TEST AND VERIFICATION 制御 センサーフュージョン C, C++ VHDL, Verilog SYSTEM TEST ラピッドプロトタイピング (Simulink Real Time) VEHICLE INTEGRATION (Control System Toolbox) 5
Agenda 背景 ユーザー事例紹介 ADAS 自動運転開発 / 検証を取り巻く課題 シミュレーション環境 検出 認識 画像処理 コンピュータビジョン LiDAR 信号処理 レーダー信号処理 ROS 活用による 自動運転開発 システム開発 検証への展開 車両ダイナミクスを含む自動速度制御 外界環境を含む自動運転 センサーフュージョン ユーザー事例ならびにまとめ 6
MATLAB/Simulink 様々なオプション製品 テスト検証 Test and measurement Model checking Code verification Certification kits 自動コード生成 Rapid prototyping and HIL Embedded software DSP software VHDL/Verilog generation PLC code MATLAB Coder システム設計シミュレーション Simulink DSP designs State charts Physical Communications systems modeling RF Tools Video & Image processing Blocksets Phased Array System Toolbox Computer Vision System Toolbox データ解析アルゴリズム開発 Control design Signal processing Optimization Statistics Image processing Toolbox Computational finance Computational biology テクニカルコンピューティング MATLAB Application deployment Student version Instrument and database connectivity Parallel computing MATLAB Mobile for iphone/ipad 1985 1990 1995 2000 2005 2010 設立 :1984 年 多様なオプション製品により 複合的な要素を統合して評価可能 制御設計のみならず 画像処理 レーダー分野にも実績 7
画像処理のベースとなる関数群 Image Processing Toolbox 各種画像データの読み書き 画像調査用の各種アプリケーション 画像 ( 色 コントラスト等 ) の調整 変換 幾何学的変換 ( 位置や形の変換 ) レジストレーション ( 位置合せ ) 各種画像フィルタ処理 モルフォロジー処理 ( 膨張 収縮等の様々な形態処理 ) オブジェクト ( 物体 ) 検出 解析 セグメンテーション ( 領域切出し ) 画像の領域の定量評価 ROIベースの処理 ( 特定領域処理 ) 8
画像処理やコンピュータビジョンのための機能 高速ストリーミング処理 Computer Vision System Toolbox カメラキャリブレーション グラフィックス 大量の画像取扱い用クラス 特徴点検出 特徴量抽出 マッチング レジストレーション 物体認識 文字認識 (OCR) 顔 人物認識 機械学習による物体認識 Bag-of-Visual Words による物体認識 画像検索 動画ストリーミングデータの高速処理 物体のトラッキング 動き推定 ステレオビジョン向けワークフロー 3 次元点群処理 Structure from Motion 画像処理用の Simulink ブロックセット 9
各種カメラからの画像データ直接取込み Image Acquisition Toolbox 業界標準の HW からの動画像取込み機能を提供 フレームグラバ ( 画像入力ボード ) Analog 入力 Camera Link 入力 DCAM 互換 FireWire (IIDC 1394) GigE Vision USB3 Vision 一般的な USB Web カメラ => 簡易的取込みは MATLAB の関数で可能 IP カメラ (MATLAB 基本関数 ) Microsoft Kinect for Windows v1 RGB 画像 + 骨格座標 深度画像 Microsoft Xbox One Kinect センサー カスタムアダプター開発キット Simulink ブロック 10
Simulink による画像処理 画像処理用の Simulink ブロックライブラリー (Computer Vision System Toolbox TM により提供 ) Simulink 環境を用いることで 制御ロジック等とのシステムモデリングやラピッドプロトタイピング環境を提供 11
デモ :Simulink デモ 12
幾何学変換 幾何学的変換 ( 位置や形の変換 ) 簡潔なコードで処理を実行各種 GUI ツール デモ 13
人物検出 トラッキング 人物検出 人物認識 % 人物認識用のオブジェクト vision.peopledetector() detectpeopleacf() HOG 特徴量 ACF アルゴリズム トラッキング ( 物陰への隠れ ) 複数の人物の同時トラッキング 物体が隠れてしまっても 位置を予測しながらトラッキングを続ける 14
誤認識の補償 人検出結果 検出漏れ カルマンフィルタによるトラッキングで 位置を予測 補償 vision.kalmanfilter() 物体トラッキング用カルマンフィルター デモ 15
様々な特徴量を用いた さらに複雑な機械学習 Statistics and Machine Learning Toolbox 特徴変換 主成分分析 (PCA) 因子分析 クラスタリング 階層クラスタリング K 平均クラスタリング ガウス混合分布モデル クラシフィケーション ( 分類 ) サポートベクターマシン (SVM) SVM を用いた複数クラスの学習 単純ベイズ分類器 線形分類器 K 近傍分類器 モデルの結合 ( アンサンブル学習 ) バギング (Tree Bagger 等 ) ブースティング (AdaBoost 等 ) 16
機械学習 : サポートベクターマシンの例 Statistics and Machine Learning Toolbox 学習用データ (pos 画像 ) 前処理 特徴量抽出 機械学習 分類器 学習用データ (neg 画像 ) HOG 特徴量 Computer Vision System Toolbox 識別 Toolbox の組合せで 機械学習のフローの構築 容易なアルゴリズム探索 手書き文字の中で数字 2 を識別 17
Mean Squared Error (mse) ニューラルネットワークを用いた機械学習 Neural Network Toolbox デモ 教師あり学習 フィードフォワードネットワーク 放射基底ネットワーク 動的ネットワーク (NARX, Layer-Recurrent) 学習ベクトル量子化 (LVQ) 教師なし学習 競合学習 自己組織化マップ (SOM) 汎化性能の改善 正則化 早期終了 制御システムへの適応 モデル予測制御 線形化 モデル規範型適応制御 Simulink ブロックおよび Simulink Coder への対応 大規模データ及び学習の高速化 並列分散および GPU 上での演算 深層学習 (Deep Learning) への対応 Stacked Autoencoder Convolutional Neural Networks Best Validation Performance is 0.01227 at epoch 26 10 0 Train Validation Test Best 10-1 10-2 10-3 0 5 10 15 20 25 30 32 Epochs 18
ニューラルネットワークとは? 神経細胞 他の複数の神経細胞からの興奮状態が伝わり 電位のレベルが上昇する 電位のレベルが閾値を超えると自身が発火する 通常状態 興奮状態 パーセプトロン : 人間の神経細胞の動きを模擬 x 1 x 2 Weight w 1 w 2 1 0 Logistic Sigmoid Σ Transfer Function f 0 Rectified Linear Unit y n y = f w k x k + b k=1 パーセプトロンを 1 つのノードとして 多層接続 入力層隠れ層出力層 1120.2 0.0057 0 1953.1 0.0022 0 w n b 1231.5 0.9746 1 x n Bias 1 0.0000 0 19
最大を選択 入力画像 Deep Learning: 畳込みニューラルネットワーク Neural Network Toolbox, Parallel Computing Toolbox compute capability 3.0 以上の CUDA GPU が必要 入力層 畳込み層 ( フィルタ処理 ) ReLU 活性化関数層 局所正規化層 max pooling 層 フィルタ #1 の結果 ( マップ #1) マップ #N 一定領域内の最大値 特徴量を自動で学習 全結合層 ソフトマックス 識別結果 2 20
NN や SVM 等 Deep Learning: 転移学習 Neural Network Toolbox, Parallel Computing Toolbox, Computer Vision System Toolbox compute capability 3.0 以上の CUDA GPU が必要 学習済みのニューラルネットワーク (NN) 学習工数が膨大な NN 構築を 既存の NN 一部流用により効率化 入力画像 認識結果 この部分の分類器のみを学習 別の物体を認識したいとき 多次元の特徴量ベクトル取得 activation() 入力画像 学習済みのニューラルネットワークを画像の特徴量抽出器として使用 識別結果 21
ステレオビジョン キャリブレーション用パターンの撮影 専用アプリケーション ステレオカメラキャリブレーション 高速化 抽出したパラメータ ステレオ画像の並行化 左右の画像のずれから 視差 距離の計算 22
複数画像による Structure from Motion 各画像間の対応点のマッチング複数画像上の点対応関係から 各点の3 次元位置を推定 : triangulatemultiview 複数 Viewにまたがる 点の全対応関係情報 : findtracks 点群位置とカメラ位置 姿勢を最適化 : bundleadjustment Step#2 密な 3 次元点群 ( マップ ) 再構成 Step#1 カメラの自己位置 姿勢推定 23
LiDAR 信号処理 デモ LiDAR: Light Detection And Ranging レーザーによる高精度な距離測定 MATLAB を用いることで データの可視化や解析 アルゴリズム開発の効率化 24
3 次元点群処理 3 次元表示 複数の点群データのスチッティング 点群データの間引き複数点群データの位置合せ点群データの幾何学的変換複数点群データの結合幾何学形状 ( 面等 ) へのフィッティング 25
自動運転システムに向けた 3-D Vision 一つの環境 (MATLAB もしくは Simulink) 上で ロボットプラットフォーム (ROS) と vision アルゴリズムの統合開発環境の提供 デモ 26
Power (dbw) レーダーシステムのモデル化 シミュレーション Phased Array System Toolbox 送信 / 受信モデル ターゲット / 環境モデル アンテナアレイの設計 解析 波形設計 解析 時間処理 空間処理 時空間適応処理 P d NonfluctuatingCoherent Receiver Operating Characteristic (ROC) Curves 1 0.9 SNR=13dB 0.8 SNR=10dB 0.7 SNR=3dB 0.6 0.5 SNR=0dB 0.4 0.3 0.2 0.1 0 10-10 10-8 10-6 10-4 10-2 10 0 P fa Target Range Estimation -120-140 -160-180 -200-220 -240-260 -280-300 0 0.005 0.01 0.015 0.02 0.025 0.03 Time (ms) Simulink ブロック 28
Phased Array System Toolbox の Apps レーダー波形解析 レーダ方程式計算 センサーアレイ解析 29
Agenda 背景 ユーザー事例紹介 ADAS 自動運転開発 / 検証を取り巻く課題 シミュレーション環境 検出 認識 画像処理 コンピュータビジョン LiDAR 信号処理 レーダー信号処理 ROS 活用による 自動運転開発 システム開発 検証への展開 車両ダイナミクスを含む自動速度制御 外界環境を含む自動運転 センサーフュージョン ユーザー事例ならびにまとめ 30
ROS (Robot Operating System) とは? ロボットアプリ開発のミドルウェアでは #1 内部プロセス間通信の為の標準プロトコルを提供 複数の開発言語とのインタフェース (C++, Python, Java, etc.) 画像データなど標準のフォーマットを提供 良く使用されるアルゴリズムや カメラや 3D センサーなどの各種ドライバを提供 オープンソース 研究者の皆様が 標準的なツールやインタフェースを使用し 新しいロボティクスシステムを手早く開発することが出来るようにすること を意図しています Jonathan Bohren ROS Crash-Course, Part I: Introduction to ROS distribution, build system and infrastructure http://rosindustrial.org/ric-americas/ 31
ROS 上のアプリケーション開発 MATLAB NODE NODE NODE NODE Main CPU NODE Image Processing Ethernet NODE Global Planner Local Planner NODE NODE NODE Map server Robot (CPU 2) Kinematics & Control Image preprocessing NODE NODE NODE Localization & Mapping Sensors / Actuators NODE ROS ネットワークにおいて ノード間でのデータ通信により処理を行う 32
自動運転に対する ROS 使用のメリット センサーデータの容易な取得 信頼性の高い分散処理アーキテクチャ 容易なコンポーネント化 自立ロボットシミュレーション環境との容易な統合 MATLAB Simulink と ROS 間の容易な接続環境を提供する Toolbox 33
Robotics System Toolbox MATLAB/Simulink を ROS ネットワーク上の node として登録する事が可能 (ROS master にもなれる ) MATLAB/ Simulink ROS MATLAB 上で開発したアルゴリズムを ROS Node として ROS ネットワークに接続可能 コード生成機能を使い Simulink モデルから ROS node を生成できます 座標変換 経路計画 トラッキング等 関連するさまざまな関数を提供 34
BMW : Automated Driving with ROS at BMW M. Aeberhard, et.al., ROSCon 2015, Hamburg, Germany, Oct. 3-4, 2015 PDF: http://roscon.ros.org/2015/presentations/roscon-automated-driving.pdf Video: https://vimeo.com/142622935 35
Agenda 背景 ユーザー事例紹介 ADAS 自動運転開発 / 検証を取り巻く課題 シミュレーション環境 検出 認識 画像処理 コンピュータビジョン LiDAR 信号処理 レーダー信号処理 ROS 活用による 自動運転開発 システム開発 検証への展開 車両ダイナミクスを含む自動速度制御 外界環境を含む自動運転 センサーフュージョン ユーザー事例ならびにまとめ 36
自動運転 ADAS システムの開発 センサー レーダー レーザー ソナー 外界環境 白線, 標識 天候 障害物 / 歩行者 複合的な要素を含む閉ループシミュレーション 車両ダイナミクス カメラ 物体検出 / 認識 Computer vision Machine learning 距離 / 速度推定 Phased Array RF 判断 センサーフュージョン 行動 経路の決定 ブレーキ / アクセル 制御 ハンドル 37
システム検証事例 1: アダプティブクルーズコントロール レーダーシステム Phased Array System Toolbox SimRF (Optional) 制御 Simulink 環境モデリング Phased Array System Toolbox 可視化 Simuink 3D 38
システム検証事例 1 センサー レーダー レーザー ソナー 外界環境 白線, 標識 天候 障害物 / 歩行者 デモ 複合的な要素を含む閉ループシミュレーション 車両ダイナミクス カメラ 物体検出 / 認識 Computer vision Machine learning 距離 / 速度推定 Phased Array RF 判断 センサーフュージョン 行動 経路の決定 ブレーキ / アクセル 制御 ハンドル 39
Snapshots of the models Top level model of ACC System Radar model with Phased Array Radar model with SimRF 40
Snapshots of the models Radar model with Phased Array System Toolbox 77[GHz] FMCW Transmitted chirp signal from car 1 Sample rate : 150[MHz] Relative velocity b/w two vehicles Distance b/w two vehicles 3D Directivity (Sensor Array) TX FMCW signal RX dechirped signal 41
システム検証事例 2: レーンキープアシストシステム 車線からの車両の逸脱を監視 認識 ドライバーへの警告や ステアリングを自動的に調整し車両位置を修正 Vision algorithm for lane Vision algorithm for lane detection detection Control algorithm for steering input Control System for Steering Input 42
自動運転 ADAS システムの開発システムレベルシミュレーション PreScan (TASS International) 3D driving environment modeling is used to test various driving conditions Provides: 各種センサーや 自動車のモデル Multiple Camera Rader Simple Dynamics Model ビル 道路などの環境モデル 天候 照度 道路のコンディションの変化 オープンな MATLAB/Simulink 環境に サードパーティー製品を接続可能 - 閉ループシミュレーション - 様々な条件下のシミュレーションを容易に実現 43
システム検証事例 2 センサー レーダー レーザー ソナー 外界環境 白線, 標識 天候 障害物 / 歩行者 デモ 複合的な要素を含む閉ループシミュレーション 車両ダイナミクス カメラ 物体検出 / 認識 Computer vision Machine learning 距離 / 速度推定 Phased Array RF 判断 センサーフュージョン 行動 経路の決定 ブレーキ / アクセル 制御 ハンドル 44
外界環境シミュレーションと組み合わせたアクティブセーフティーシステムシミュレーション 画像処理コンピュータビジョン コントローラ PreScan (TASS International) 上で 外界の画像を生成 45
外界環境シミュレーションと組み合わせた閉ループシステムシミュレーション 画像処理コンピュータビジョン コントローラ 46
システム検証事例 3: センサーフュージョン - センサーフュージョンシステムの目的 単一のセンサーの弱点を補完 レーダー 項目 カメラ画像 正確 距離 不正確 直接測定可能 速度 レンジレート 画像から推定 不得意 角度分解能 比較的良好 不得意 物体の判別 可能 センサーフュージョン : 複数のセンサー情報を用い 精度の向上 更にステレオカメラや レンジの異なるレーダー等 47
システム検証事例 3: センサーフュージョン センサー レーダー レーザー ソナー 外界環境 白線, 標識 天候 障害物 / 歩行者 車両ダイナミクス カメラ 物体検出 / 認識 Computer vision Machine learning 距離 / 速度推定 Phased Array RF 判断 センサーフュージョン 行動 経路の決定 ブレーキ / アクセル 制御 ハンドル 48
システム検証事例 3: センサーフュージョンシステム デモ コーナー進入時の 自車線前方車両 CIPV (Critical In-Path Vehicle) 検出 With Sensor Fusion by Yaw rate 49
Simulink モデル 入力 : 画像 車位置情報 ( リファレンス用 ) [PreScan で生成 ] それぞれのブロックに対し アルゴリズム等の切替え 可視化 カメラモジュール. 白線検出. 車両検出. トラッキング センサーフュージョン. データ相互の関連付け. データフュージョン, TTC. 同一車線車両の認識 レーダーモジュール. レーダーのモデリング. 検出. トラッキング 50
シミュレーション結果 検出した車線を基にした前方車両 ヨーレートを基にした前方車両 検出した車線 ヨーレートによる進行方向 ピンク : カメラの視野紫 : レーダーの範囲 * : Vision Target o : Radar Target x : Fusion Target 51
衝突回避の例 (Closed Loop Simulation) センサー レーダー レーザー ソナー 外界環境 白線, 標識 天候 障害物 / 歩行者 車両ダイナミクス カメラ 物体検出 / 認識 Computer vision Machine learning 距離 / 速度推定 Phased Array RF 判断 センサーフュージョン 行動 経路の決定 ブレーキ / アクセル 制御 ハンドル 52
衝突回避の例 (Closed Loop Simulation) 53
Agenda 背景 ユーザー事例紹介 ADAS 自動運転開発 / 検証を取り巻く課題 シミュレーション環境 検出 認識 画像処理 コンピュータビジョン LiDAR 信号処理 レーダー信号処理 ROS 活用による 自動運転開発 システム開発 検証への展開 車両ダイナミクスを含む自動速度制御 外界環境を含む自動運転 センサーフュージョン ユーザー事例ならびにまとめ 54
自動運転に向けた MATLAB/Simulink 活用事例 画像認識 レーダーアルゴリズム センサーフュージョン 55
Continental Developing a Traffic Sign Recognition System Engineering challenge MATLAB-based toolchain 標識認識アルゴリズム開発用ツールチェーン構築 オプションツールの活用により ツール開発コストを低減 運転支援システムの開発 評価において MATLAB を日常的に使用 講演資料 ビデオ https://jp.mathworks.com/company/events/conferences/automotive-conference-stuttgart/2015/proceedings/proceedings.html Source: 2015 MathWorks Automotive Conference Europe, Stuttgart, Germany, September 24, 2015 56
Magna Electronics Designing Complex Driver Assistance Logic with MATLAB and Simulink 標識の理解 解釈のアルゴリズム開発 ( 多次元行列 ) MATLAB コードからの量産 C 生成 Source: 2013 MathWorks Automotive Conference, Plymouth, MI, May 9, 2013 http://jp.mathworks.com/company/events/conferences/automotive-conference-michigan/2013/proceedings/designing-complex-driver-assistance-logic-with-matlab-and-simulink.pdf 57
自動運転に向けた MATLAB/Simulink 活用事例 画像認識 レーダーアルゴリズム センサーフュージョン 58
Delphi Developing Production Radar Sensor Alignment Algorithm Challenge Deliver a production automotive radar sensor alignment algorithm in four weeks Solution Use MATLAB to develop algorithms, compare algorithm performance, and test algorithm robustness. Use MATLAB Coder to generate production C code Results Generated C code as efficient as handwritten C code for this algorithm Development time halved Algorithm changes verified and coded in seconds Delphi s multimode electronically scanning radar (ESR), which uses a single radar to provide wide coverage at midrange and highresolution coverage at long range. Image courtesy of Delphi MATLAB is my preferred tool because it speeds algorithm design and improvement. I can do the data analysis, algorithm development, algorithm visualization, and simulation in one place and then generate C code that is reliable, efficient, and easy for software engineers to integrate within a larger system. レーダーセンサーのアライメントアルゴリズムを開発 MATLAB コードからの量産コード自動生成 Liang Ma Delphi 59
自動運転に向けた MATLAB/Simulink 活用事例 画像認識 レーダーアルゴリズム センサーフュージョン 60
Scania : Sensor Fusion for Advanced Emergency Breaking System システム構成 可視化 MATLAB コードを併用 複数の SW 候補 計算クラスター センサーフュージョンのシステム開発に モデルベースデザインを適用 量産 C コード生成 講演資料 ビデオ https://jp.mathworks.com/company/events/conferences/automotive-conference-stuttgart/2015/proceedings/proceedings.html Source: 2015 MathWorks Automotive Conference Europe, Stuttgart, Germany, September 24, 2015 61
自動運転に向けた MATLAB/Simulink 活用事例 画像認識 レーダーアルゴリズム センサーフュージョン 自動運転 62
MathWorks 製品を用いた自動運転開発 Daimler "Implementing Autonomous Cars" BMW Source: Keynote Presentation at 2015 MathWorks Automotive Conference Europe, Stuttgart, Germany, September 24, 2015 講演資料 ビデオ https://jp.mathworks.com/company/events/conferences/automoti ve-conference-stuttgart/2015/proceedings/proceedings.html Source: 2015 MathWorks Automotive Conference Europe, Stuttgart, Germany, September 24, 2015 講演資料 ビデオ https://jp.mathworks.com/company/events/conferences/autom otive-conference-stuttgart/2015/proceedings/proceedings.html Source: ROSCon 2015, Hamburg, Germany, Oct. 3-4, 2015 講演資料 : http://roscon.ros.org/2015/presentations/roscon-automated-driving.pdf Video: https://vimeo.com/142622935 63
まとめ MATLAB Simulinkを使用することにより 制御だけではなくコンピュータービジョンおよびレーダーシステムのアルゴリズム / システム検討 ラピッドプロトタイピング 検証 / 実装 統合マルチドメイン開発プラットフォームを提供 : 画像 認識システム レーダーシステム 制御設計 サードパーティー製品との幅広い連携による 外界環境を含んだ閉ループシステムシミュレーション 自動運転に向けた各種開発効率向上 64