資料 2 < 道路交通 WT 資料 > 戦略的イノベーション創造プログラム SIP ( 自動走行システム ) 走行映像データベース 構築技術の開発及び実証 2017 年 3 月 9 日一般財団法人日本自動車研究所 1
1. 走行映像データベース開発の背景 走行映像 DB 開発の狙い 海外メカ サフ ライヤは OEM 各社に自社開発製品を供給し 実車 実路走行テ ータを入手することで効率よく製品を改良 国内の業界は 現状は OEM を中心に個別開発で競争 走行映像 DB を共有してシミュレーションによる開発効率化を狙う 海外メカ サフ ライヤのヒ シ ネスモテ ル OEM テ ータを集約 サフ ライヤ M 社 サフ ライヤが開発するシステム (BB) を供給 各社ニース を集約し サフ ライヤで改良 自動車メーカー実路 実車で走行 a 社 b 社 c 社 コンホ ーネント要素技術 半導体 画像認識 カメラ 走行映像 DB を介して 業界が協調してシミュレーション環境を強化することで開発効率化 走行映像 DB シミュレーションで開発効率化 自前走行 + 個別 OEM テ ータ サフ ライヤ A 社 対抗 サフ ライヤから OEM 各社専用システムをそれぞれに供給 改良 適合は個別開発 a 社仕様 b 社仕様 国内の業界 a 社 情報処理 a 社仕様 サフ ライヤ走行映像データで連携 B 社 b 社仕様 b 社 2
2. 走行映像データベース開発の狙い 次世代カメラ性能を先取りした前広角 全周辺カメラのデータで 20 EuroNCAP に対応可能な映像データベース構築技術を開発する ADAS の動向 (EuroNCAP) 16 単路飛び出しから 20 交差点事故の対応 ( 広域の検知 ) が必要 16 Euro-NCAP 20 Euro-NCAP 交差点事故対応に必要となる映像シーン例 3
3. 走行映像データベースの概要 画像データベース構築技術を協調領域に設定した画像認識関連の要素技術の研究開発 研究開発の最終目標 ( アウトプット ): 単眼カメラ方式走行映像データベース構築技術の確立 歩行者事例延べ 400 万 歩行者 4 万シーン ( 動画 ) 以上の走行映像データベースを構築 4
4. 走行映像データベースの特徴 < 現行 車載カメラ相当 > 前方カメラ 50 全周辺カメラ : 数 m カメラ仕様画素数 40 万画素画角 50 周期 ~30fps 特徴 1: 前遠方カメラ性能 画角の広角化 (50 90 ) 前遠方対象物の検知距離向上 <SIP 走行映像 DB> 前遠方カメラ全周辺カメラ :20m 90 185 画角 50 相当 カメラ仕様画素数 230 万画素画角 90 & 185 周期 60fps 検知範囲が狭いため 右折時横断歩行者が検知出来ない 特徴 2: 全周辺カメラ性能画角 90 高画質化による検知距離向上( 車両周辺の数 m 程度 車両周辺の20m 程度 ) 移動物検知 ( 出典 : 日産自動車 HP) 例 特徴 3: データベースの質と量 多様性 ハイビジョンカメラの有効性評価 画像情報 ( カメラ ) と距離情報 ( レーザセンサ ) の有効性 映像データの多様性と量 画像データ レーザ距離データ情報 5
非公開ページ 6
以下 参考資料 7
参考 1. データ収集車両 ハイビジョンカメラ 5 台 + レーザセンサ 5 台を搭載し走行映像データを収集する 1 2 1 2 1 2 4 3 1 周辺カメラ画像 180 度 2 周辺計測レーザレーダ水平に設置し 1 ラインを計測 3 前方カメラ画角 90 度 4 前方計測レーザレーダ水平に設置し 4 ラインを計測 項目周辺監視 (360 度 ) 前遠方監視 (90 度 ) 収集対象データ 搭載センサ 項目 ベース車両 記録時間 GPS センサ同期 カメラ レーザレーダ 車両ボデー直下から 20m 範囲の全周囲 360 度にある歩行者 障害物 ( 自転車 二輪車 車両 ) 路側物 ( 信号機や標識等固定障害物 看板やコーン等の移動障害物 ) トヨタアルファード 240S ガソリン車 4WD 乗車定員 4 名 通常走行時 旋回走行時の歩行者 障害物 ( 自転車 二輪車 車両 ) 路側物 ( 信号機や標識等固定障害物 看板やコーン等の移動障害物 ) スペック 周辺監視 4 台レンズ画角 :180 度前遠方監視 1 台レンズ画角 : 90 度解像度 :1920x1200 12bit フレームレート :60fps( 夜間 )25fps 周辺監視 4 台スキャンレイヤ数 :1スキャン角度 :190 度周波数 :50Hz 前方監視 1 台スキャンレイヤ数 :4スキャン角度 :85 度周波数 :50Hz ( 前方バンパー位置に配置 ) 最大 7 時間カメラ 1 台毎に 5.4TB の SSD を搭載 GPS 時計位置データ ( 緯度 / 経度 ) を取得 専用の同期機構により カメラ レーザレーダのデータを同期取得する 1 正面モニタ ( 写真左側 ) 5 つのカメラ映像を切り替えて表示 トリガボタン操作などの操作確認 状態表示画面 2 サブモニタ ( 写真右側 ) カメラ 各機材の動作確認を行う 全てのカメラ画像 レーザレーダデータ CAN GPS 情報を表示する 8
参考 2. データ収集 1481 時間 5 カメラ情報及びレーザレンジセンサ情報等で約 4.2PB 蓄積 国内走行 :1,347 時間 繁華街 ( 関東 中部 関西 ) 市街地 ( 関東 中部 関西 ) 観光地 ( 鎌倉 京都 高山 ) 寒冷地 ( 札幌 小樽 ) 駐車場 ( 高速 SA ショッピングモール等 ) 一般国道 ( 関東 関西等 ) 高速道 ( 首都高 名古屋高速 東名高速等 ) 繁華街 8 月 市街地 繁華街 各種道路 ( 東京 埼玉 神奈川 大阪 愛知 ) 1 月 寒冷地 ( 札幌 小樽 ) 観光地 ( 京都 鎌倉 高山 ) 米国走行 :134 時間 都市ニューヨーク 観光地マイアミ ) 市街地 都市部 : ニューヨーク 群集の横断 (NY) 観光地 : マイアミ 特殊自動車 ( 両側駐車 )Miami 特殊移動体 ( セグウェイ ) 9
参考 3. 前遠方カメラの有効性 ( 画角の広角化 50 90 ) 画角 50 相当の場合 赤丸の歩行者が検知出来ない 走行映像 DB は 広角化により ~ 数秒前に検知可能 歩行者の連続挙動をタグ付けされており 隠れた歩行者の重なりから分離した状況の評価可能 画角 90 ( 走行映像 DB) 画角 90 ( 走行映像 DB) 同じ歩行者 同じ歩行者 同じ歩行者 画角 50 相当 検知範囲が狭いため 検知対象外となる事例 画角 50 相当 10
参考 4. 前遠方カメラの有効性 ( 前遠方対象物の検知距離向上例 ) 11
参考 5. 全周辺カメラの有効性 ( 高画質化よる検知距離向上例 ) ハイビジョンカメラ採用により 車両全周辺 20m 先迄の歩行者でも画像認識が可能 魚眼映像の円筒変換による座標位置率 99.2% 以上により全周辺カメラの有効性を検証 同じ歩行者 前方 185 カメラ映像 高さ / 幅 =0.5523 高さ / 幅 =0.5568 魚眼映像の円筒変換結果 同じ歩行者を複数のカメラで検知が可能であり 歩行者挙動を連続検知可能 左方 185 カメラ映像 右方 185 カメラ映像 12
参考 6. DB の質と量 多様性 ( 評価サマリ ) OEM2 団体 サプライヤ 4 団体 研究機関 2 団体の 8 団体に再委託して DB の実用可能性など評価実施期間 :H28 年 6 月 ~H29 年 1 月末 ( 成果報告書を納入 ) 結果概要 歩行者など障害物認識システムの評価用 DB としては有効ヒヤリハットや認識が難しいシーンの検索機能や欲しいシーンのテ ータ増強など DB としての完成度を高めることと テ ータ活用環境 ツール強化など期待大 1 ハイビジョンカメラ映像データの有効性 現行の車載カメラ程度の低分解能の映像と比較した結果 高分解能映像のほうが物体検出には大幅に有利であり 特に小物体や遠方物体の検出に大きな効果を発揮することが確認できた 2 画像情報 ( カメラ ) と距離情報 ( レーザセンサ ) の有効性 画像認識に距離情報を付加することで誤検出が低減される 3 映像データの多様性と量 網羅性評価において 画像認識技術の情報源として有用である 画像認識エンジン評価において 様々な映像を含み既存 DB 以上 昼と夜の画像の質 誤認識対象としてのバリエーション 歩行者の属性情報等は一定レベルを有する 13