一般社団法人 電子情報通信学会 THE INSTITUTE OF ELECTRONICS, 社団法人 電子情報通信学会 INFORMATION AND COMMUNICATION ENGINEERS 信学技報 IEICE Technical Report PRMU2017-77(2017-10) 信学技報 TECHNICAL REPORT OF IEICE. THE INSTITUTE OF ELECTRONICS, INFORMATION AND COMMUNICATION ENGINEERS 自己状態を付与した CNN による自動運転制御の高精度化 村瀬 卓也 平川 翼 山下 隆義 藤吉 弘亘 中部大学 487 8501 愛知県春日井市松本町 1200 E-mail: {murarin,hirakawa}@mprg.cs.chubu.ac.jp, {yamashita,hf}@cs.chubu.ac.jp あらまし 自動車の自動運転制御は 人間が運転するときに行う道路環境の認知 状況の判断 車両操作の制御をす べて機械が行うことである 深層学習によりカメラ映像のみを入力とし 車両制御信号を出力する研究が行われ 自 動運転を実現している しかし 制御対象自体の状態を把握することができないため 安定した運転制御を行うこと が難しい場合があるという問題がある 本稿では 車載カメラ映像に加えて車体速度を自己状態として付与すること で 自動運転制御の精度向上を図る また 車体速度情報を追加する層を変化させた場合や スロットルとステアリ ングを独立に学習させた場合の運転制御にどのような影響があるかを報告する キーワード 自動運転制御, 畳み込みニューラルネットワーク 車体速度 1. は じ め に トルはアクセルやブレーキと置き換えることもでき 車両の移 動速度を制御する 前述の CNN を用いた車両制御法ではステ 現在 自動車の自動運転技術の開発は世界中で広く行われて アリングのみを自動で制御しており スロットルの出力は一定 いる フランスでは 自動運転の電動バスを開発する Navya に保ったまま走行実験を行っている この理由として CNN を が パリのビジネス街であるラ デファンス地区において 無 用いた場合 映像を 1 フレームずつ独立して入力するため 制 人運転シャトルバスの試験運行を開始した [1] 最大 15 人が乗 御対象自体の状態 すなわち車両速度を表現することが難しい 車可能な小型バスをシャトルサービスとして運行している ド ことが挙げられる この問題を解決するために Xu ら [10] は イツでは アウディが世界で初めて人の代わりに車が運転を担 Long Short-Term Memory (LSTM) を用いた手法を提案して う自動運転車 A8 を発売すると発表した 中央分離帯のある高 いる この手法では LSTM に CNN で抽出した特徴を入力す 速道路を時速 60 キロメートル以下で走行している場合のみ全 ることで 過去のフレームの情報を考慮しながら現在の車両速 ての操作をシステムが実施し 運転手は運転以外の作業をする 度を推定する しかし この方法では学習時と評価時のフレー 事が可能である このように限定的な環境下では自動運転制 ムレートが異る場合にはうまく動作せず 過去のフレームを使 御が実用化され始めている しかし 任意の環境下での自動制 用することから計算コストが増加することからリアルタイムで 御を行うためには周囲の環境を自動で取得 理解する必要があ の車両制御が難しいという問題がある る 周囲の情報を取得するには車載カメラ ミリ波レーダー そこで本研究では CNN を用いて抽出した車載カメラ映像の Light Detection and Ranging (LIDAR) などを用いる方法が 特徴量に加え 車体速度を自己状態として付与することで ス ある 中でも車載カメラは他の計測デバイスよりも安価である テアリング及びスロットルの同時制御を行う これにより 制 ことから多くの車両に設置されている 車載カメラの普及と機 御対象の車両速度を把握することが可能となり LSTM のよう 械学習技術の発展に伴い 車載カメラ映像を用いた画像認識技 にフレームレートに影響されずに様々な環境下で状況に応じた 術の開発が盛んに行われている 例えば 歩行者検出 [2] [3] [4] スロットルの制御が実現可能となる また ステアリングとス 白線検出 [5] [6] セマンティックセグメンテーション [7] [8] な ロットルの異なる 2 つの要素を効率的に学習するために 独立 どが挙げられる して学習をした場合の誤差や精度の変化についても報告する このような 車載カメラ映像から車両の周囲環境を理解する 研究だけでなく 映像から直接車両の制御を行う研究も行わ 2. 関 連 研 究 れている [9] この手法では 車両の前方を車載カメラで撮影 従来の自動運転制御システムは 物体認識技術を用いた自動 した車両前方の映像を Convolutional Neural Network (CNN) 運転制御と End-to-End による自動運転制御に分類できる 本 に入力する そして 車両前方の映像から車両が走行するべき 章では これらの代表的な手法について述べる 車道や領域を CNN により暗に推定し その領域を走行するた 2. 1 物体認識技術を用いた自動運転制御 めのステアリングの角度を出力することで 適切な位置での自 金沢大学で開発されている自動運転制御システム [12] は 動走行を可能にしている しかし 車両の運転制御はステアリ 白線や車両周辺の障害物をセンサで検出し 自動運転を行う ングのみだけでなく スロットルも重要な要素である スロッ 認識 (Perception) パスプランニング (Path Planning) 制御 - 85 1 This article is a technical report without peer review, and its polished and/or extended version may be published elsewhere. Copyright 2017 by IEICE
(a) 2 (b) 1 (Controller) 3 3 LIDAR [13]LIDAR GNSS/INS [14] [15] 2 1(a) 1(b) 2. 2 End-to-End LIDAR End-to- End [9] [10] [11]End-to-End 3. End-to-End 1 CNN CNN 3. 1 2 1 CNN CNN -1.01.0 3. 2 Convolutional Neural Network CNN 3 1 Leaky Rectified Linear Unit (Leaky ReLU) Leaky ReLU (1) v v 0 v α α 0.01 v (v > 0) (1) αv (v <= 0) - 86-2
3 CNN 1 CNN Layer 1 : 5 5 24 : Leaky ReLU stride : 2 2 : 5 5 36 : Leaky ReLU stride : 2 3 : 5 5 48 : Leaky ReLU stride : 2 4 : 3 3 64 : Leaky ReLU 5 : 3 3 96 : Leaky ReLU 1 : 1000 : Leaky ReLU dropout : 0.5 2 : 100 : Leaky ReLU dropout : 0.5 3 concat : 100+1 : 10 : Leaky ReLU : 2 1 3 2 5 5 4 5 1 3 3 3 2 RMSProp+Graves 0.0001 0.99 150 4 0.5 3. 3 CNN (2) N E = r n y n 2 (2) n=1 r n y n CNN N CNN (2) 4. 1 2 3 4. 1 Grand Theft Auto V (GTAV) [16] GTAV 126 GTAV GTAV 1 10 10 3 4-87 - 3
2 [%] RGB 90.0 80.0 80.0 80.0 81.8 75.0 96.6 96.6 86.6 90.0 YUV 90.0 83.3 86.6 83.3 85.4 80.0 96.6 96.6 93.3 92.7 90.0 76.6 76.6 76.6 79.0 90.0 100.0 100.0 93.3 96.3 +RGB 90.0 80.0 80.0 76.6 80.9 75.0 96.6 96.6 90.0 90.0 5 (a) (b) autonomy = (1 (interventions6seconds )100 (3) elapsed time (c) (d) 4 GTAV 4 2 8 2 4. 2 5 Linux Windows GTAV Windows Linux Virtual Network Computing (VNC) Linux Windows GTAV GTAV Windows GTAV VNC vjoy GTAV OS GTAV 4. 3 [9] interventions elapsed time (s) 6 6 6 (s) 1 120 180 300 4. 4 4. 4. 1 RGB YUV +RGB 4 806 629[pix.] 420 350[pix.] 4. 4. 2 2 90.0% - 88-4
3 [%] YUV FC1 80.0 76.6 73.3 73.3 76.3 70.0 86.6 86.6 83.3 82.7 FC2 90.0 90.0 90.0 86.6 89.0 85.0 93.3 93.3 86.6 90.0 FC3 95.0 100.0 100.0 100.0 99.0 90.0 96.6 93.3 86.6 91.8 80.0 83.3 80.0 83.3 81.8 80.0 86.6 86.6 83.3 84.5 FC1 80.0 73.3 70.0 73.3 73.6 80.0 90.0 86.6 86.6 86.3 FC2 90.0 86.6 83.3 83.3 85.4 95.0 96.6 96.6 90.0 94.5 FC3 95.0 93.3 93.3 90.0 92.7 95.0 100.0 100 93.3 97.2 80.0 83.3 83.3 83.3 82.7 85.0 90.0 90.0 83.3 87.2 YUV 4. 5 4. 5. 1 1 2 3 YUV 4. 5. 2 3 3 YUV 6 1 1 1 (a) (b) (c) (d) 6 4. 6 4. 6. 1 CNN 3 YUV 4. 6. 2 4 5-89 - 5
4 [%] 95.0 100.0 100.0 100.0 99.0 95.0 100.0 100.0 93.0 97.2 95.0 100.0 100.0 100.0 99.0 95.0 100.0 100.0 96.6 98.1 (a) 7 (b) 5. CNN [1] Navya100 % AUTONOMOUS, DRIVERLESS AND ELECTRIC [http://navya.tech/](: 2017 9 20 ) [2] Yonglong TianPing LuoXiaogang Wang et al. Pedestrian Detection aided by Deep Learning Semantic Tasks In CVPRarXiv preprint arxiv:1412.0069v12014 [3] Jan HosangMohamed OmranRodrigo Benenson et al. Taking a Deeper Look at Pedestrians In CVPRarXiv preprint arxiv:1501.05790v12015 [4] Yanwu XuDong XuStephen Lin et al. Detection of Sudden Pedestrian Crossings for Driving Assistance System Vol.42No.3pp.729-7392012 [5] Mohamed Aly Real time Detection of Lane Markers in Urban Streets In CVPRarXiv preprint arxiv:1411.7113v1 2014 [6] Clemens-Alexander BrustSven SickertMarcel Simon et al. Convolutional Patch Networks with Spatial Prior for Road Detection and Urban Scene Understanding In CVPRarXiv preprint arxiv:1502.06344.v12015 [7] Mennatullah SiamSara ElkerdawyMartin Jagersand et al. Deep Semantic Segmentation for Automated Driving: TaxonomyRoadmap and Challenges In CVPRarXiv preprint arxiv:1707.02432v22017 [8] Sebastian RamosStefan GehrigPeter Pinggera et al. Detecting Unexpected Obstacles for Self-Driving Cars: Fusing Deep Learning and Geometric Modeling In CVPRarXiv preprint arxiv:1612.06573.v12016 [9] Mariusz Bojarski, Davide Del Testa, Daniel Dworakowski et al. End to End Learning for Self-Driving Cars In CVPR arxiv preprint arxiv:1604.07316v12016 [10] Huazhe XuYang GaoFisher Yuand Trevor Darrell End-to-end Learning of Driving Models from Large-scale Video Datasets In CVPRarXiv preprint arxiv:1612.01079v22017 [11] Chenyi ChenAri SeffAlain Kornhauser et al. Deep- Driving: Learning Affordance for Direct Perception in Autonomous Driving In ICCVarXiv preprint arxiv:1505.00256v3 2015 [12] Vol.2014-CVIM-192No.3 pp.1-42014 [13] No.145-10pp.5-102010 [14] GNSS/INS Vol.42No.5 pp.1151-11562011 [15] 2011-1 - No.16-12pp.11-162012 [16] Rockstar GamesGrand Theft Auto V [http://www.rockstargames.com/v/](: 2017 9 19 ) - 90-6