ＳＩＰ自動走行システム推進委員会

Size: px

Start display at page:

Download "ＳＩＰ自動走行システム推進委員会"

とらふみさわなか
4 years ago
Views:

1 SIP システム実用化 WG(' ) 平成 28 年度 SIP( 自動走行システム ) 走行映像データベース構築技術の開発及び実証中間報告日本自動車研究所 (JARI) 第 51 研究室 ( クラリオン ) 第 52 研究室 ( 萩原電気 ) 第 61 研究室 ( ルネサスエレクトロニクス ) 第 62 研究室 ( 日本電気 ) 第 63 研究室 ( デンソー ) 再委託 : 産業技術総合研究所名古屋大学トヨタ自動車マツダ日立製作所三菱電機パナソニック富士通 1

2 1. 走行映像データベースの概要 ( 再掲載 ) 画像 DB 構築技術を協調領域に設定し欧州 R&D 戦略に対抗する要素技術を研究開発研究開発の最終目標 ( アウトプット ): 単眼カメラ方式走行映像データベース構築技術の確立歩行者事例延べ 400 万歩行者 4 万シーン ( 動画 ) 以上の走行映像データベースを構築 2

2. 研究開発内容と成果目標 (4 年間 ) 計画具体化 (H26) 映像収集 (H27) 分析評価 (H28 ) 実証 DB 構築 (H29) 今期は加工済みデータ ( 全体の 40%) を活用して走行映像 DB の有効性評価に重点最終的には業界要望を反映し残り 60% の映像データを含め走行映像 DB を完成する研究開発内容 2014 年度 (H26) 2015 年度 (H27)

3 2. 研究開発内容と成果目標 (4 年間 ) 計画具体化 (H26) 映像収集 (H27) 分析評価 (H28 ) 実証 DB 構築 (H29) 今期は加工済みデータ ( 全体の 40%) を活用して走行映像 DB の有効性評価に重点最終的には業界要望を反映し残り 60% の映像データを含め走行映像 DB を完成する研究開発内容 2014 年度 (H26) 2015 年度 (H27) 2016 年度 (H28) 2017 年度 (H29) 位置付け映像収集の準備映像データ収集 DB 分析評価実証 DB 構築完了 1) データ収集車両 2) データ収集 3) データ加工 4) DB 化基盤技術タグ付け技術リアルタイム可逆圧縮検索エンジン 6 台製作走行計画立案当初 5000 時間加工手順方法を具体化ツール開発計画立案開発 (80%) 国内 :1347 時間米国 :135 時間当初の 30% 取得シーン抽出 40% ( 全体の 40% 分 ) タグ付け 10% ツール開発 ( 残 20%) 改良シーン抽出 100% ( 全体残り60% 分完了 ) タグ付け100% シーン分類 40% 自動タグ付け機能追加 ( 対象物までの距離情報 ) 5) DB 評価 ( リース ) 評価用テータ準備評価計画策定 ( 産総研 ) 1 評価用データ提供 DBの質量多様性等製品システム開発への有効性評価 2 3 シーン分類 100% 機能追加 (DB 評価結果を基に必要機能を追加 ) 関係者間で DB を本格的に活用した評価 3

4 3.H28 年度研究開発目標と進捗状況今期の実施計画に対しては計画通り進行中 H28 年度研究開発目標 1DB の評価委託先にデータ提供 (7 月完 ) 画像タグ情報センサデータ等を 10 時間分委託先ではデータの目視確認 & 自社システム評価用にデータ変換など準備中月 ~ 月 ~ 月を予定 2 データ加工シーン抽出 : 既取得映像 ( 残り 60%) から分析対象データを切り出しタグ付け : シ - ン抽出された映像データに必要なタグ付け作業を実施シーン分類 : 昨年度タグ付け加工済みの 40% データに対して 27 シーン分類 ( 道路構造 x 位置関係など ) への振分けを実施 3DB 化基盤技術タグ付け技術 : 自動タグ付け機能追加 ( 対象物までの距離情報付加 ) 検索エンジン : 検索やデータ確認作業に適した環境整備進捗状況計画通り進捗約 50% 計画通り進捗約 15% 計画通り進捗約 50% 4

5 項目 4 月 5 月 6 月 7 月 8 月 9 月 10 月 11 月 12 月 1 月 2 月 3 月 SIP システム実用化 WG 自動運転システム研究推進委員会 JARI 開発検討会 1DB の評価 ( 再委託業務 ) 2 データ加工シーン分類概要報告 6/8 第 1 回 6/29 産総研概要報告評価用データ提供済中間報告 9/28 第 2 回 9/2 7 社概要報告自動運転システム研究推進委員会 9/29 第 3 回 10/30 中間報告一部提供第 4 回 12/ 下報告骨子報告シーン分類 ( 加工済み 40% 分 ) 第 5 回 1/ 中成果報告まとめデモ実施シーン抽出タグ付け 3DB 化基礎技術タグ付け技術検索エンジンシーン抽出 ( 残り60% データ化作業 ) タグ付け ( 残り90% データ化作業 ) 自動タグ距離情報ツール開発検索エンジンの開発青字 : 実施済み 5

6 4. 走行映像 DB の評価 ( 再委託業務 ) OEM( トヨタマツダ ) サプライヤ ( 日立製作所三菱電機パナソニック富士通 ) 研究機関 ( 産総研名古屋大学 ) の 8 団体に再委託して DB の実用可能性など評価実施期間 :H28 年 6 月 ~H29 年 1 月末 ( 成果報告書を納入 ) OEM サプライヤ研究機関の DB に対する期待 1 ハイビジョンカメラ映像データの有効性従来カメラ 30 万画素ハイビジョンカメラ 230 万画素画素数比 : 約 8 倍 2 画像情報 ( カメラ ) と距離情報 ( レーザセンサ ) の有効性自車両周辺の対象物が連続的な挙動 + 距離データとして収録されている 3 映像データの多様性と量映像シーン ( 地域道路構造追越し横切り等 ) 障害物 ( 歩行者自転車等 ) 及び環境条件 ( 昼夜雪等 ) 等の映像バリエーションやテータ量が豊富概ね各社での開発に有効活用できると期待されている 6

5. 走行映像 DB 成果の活用イメージ (Tier1) ADAS の動向 (EuroNCAP) 16 単路飛び出しから 20 交差点事故の対応 ( 広域の検知 )

市とその周辺限定で収集した画像カメラ仕様画素数 1392 * 512, 分解能 12bit 画角 90 周期 10fps SIP 走行映像 DB 90 185 *

1200, 分解能 12bit 画角 90 & 185 * 4 周期 60fps *1 (Karlsruhe Institute of Technology)

7 5. 走行映像 DB 成果の活用イメージ (Tier1) ADAS の動向 (EuroNCAP) 16 単路飛び出しから 20 交差点事故の対応 ( 広域の検知 ) が必要 16 Euro-NCAP 20 Euro-NCAP 既存データベースとの有効性比較とその意義 KITTI *1 90 前方 Karlsruhe 市とその周辺限定で収集した画像カメラ仕様画素数 1392 * 512, 分解能 12bit 画角 90 周期 10fps SIP 走行映像 DB * 4 日本各地米国から地域性や天候等を考慮した幅広い画像情報量側方約 100 倍 2 前広角 3 前遠方カメラ仕様画素数 1920* 1200, 分解能 12bit 画角 90 & 185 * 4 周期 60fps *1 (Karlsruhe Institute of Technology) 次世代カメラ性能を先取りしたデータで将来技術を開発加速本活用事例では前遠方に加え前広角側方のデータで 20 EuroNCAPに対応 SIPシステム実用化 WG < > 7

5. 走行映像 DB 成果の活用イメージ ( サプライヤ :LSI 開発 ) 画像認識技術の動向 : 障害物等特定対象物の認識から刻々と変化する対象の挙動認識やシーン認識に移行する 2016 2018 2020 2022 202X ( 年 ) ドライバアシスト半自動運転自動運転想定アプリケーションモバイルアイ社開発ロードマップシーン認識に対応したデバイスを計画中想定アプリケーション

8 5. 走行映像 DB 成果の活用イメージ ( サプライヤ :LSI 開発 ) 画像認識技術の動向 : 障害物等特定対象物の認識から刻々と変化する対象の挙動認識やシーン認識に移行する X ( 年 ) ドライバアシスト半自動運転自動運転想定アプリケーションモバイルアイ社開発ロードマップシーン認識に対応したデバイスを計画中想定アプリケーション対応カメラ能力 '07 EyeQ 単眼カメラによる物体認識認識技術 '10 対歩行者 EyeQ2 単眼カメラによる歩行者認識移動体識別特定対象物の認識 '15 EyeQ3 EyeQ3x3 搭載の Trifocal システムアラウンドビュー対応 40 度マルチカメラ化可能飛び出し夜間 EyeQ4 '18 シーン / ランドマーク情報抽出 Fusion 対応半自動運転対応 50 度 1080p-4k, 30fps EyeQ5 '20 シーン / ランドマーク情報抽出 Fusion 対応自動運転対応 100 度 1080p-4K, 60fps 交差点シーン認識全被写体のカテゴライズ高速道路半自動運転 Stop&Go リスク回避対象物の挙動認識人, 車両, 標識人, 車両, 道路, 構造物, 街路樹人, 車両の移動方向 + 量道路, 構造物, 街路樹 8

9 5. 走行映像 DB 成果の活用イメージ ( サプライヤ :LSI 開発 ) 市街地半自動運転対応 (2022 年度以降 ) に向けた全周囲監視画像認識用 LSI 開発に走行映像 DB 成果を活用 LSI 開発プロセスアーキテクチャ仕様 Fix: 量産時期の 7 から 8 年前に確定が必要開発期間 : 設計試作からデバイス量産に最低 5 年間以上必要 X ( 年 ) ドライバアシスト半自動運転自動運転想定アプリケーション交差点対応市街地半自動運転対応対歩行者アーキテクチャ仕様 FIX アーキテクチャ選択肢の評価飛び出し夜間交差点シーン認識用 LSI 開発 ( 設計試作 ) 高速道路半自動運転 Stop&Go 画像認識用 LSI 開発 ( 設計試作 ) '16からのLSI 開発では '20 年の交差点対応用のLSI 量産は間に合わない性能チュニングシーン認識 LSI 量産画像処理 IP 系? メニーコア系? GPGPU 系? 性能評価データとして走行映像 DB 成果 ( 全周囲データ ) を活用 9

10 以下ご参考資料 10

11 参考 1. 走行映像 DB の評価実施分担 (OEM サプライヤ研究機関 ) DB 質と DB 多様性など評価項目を提示し各社の要望で実施内容を決定 SIP 走行映像 DB OEM/ 研究機関 / サプライヤ評価項目実施分担表 1 2 評価項目システム評価映像データの 27 シーン分類の指針検討および有効性の評価網羅性の確保に向けてどのようなシーンを収集する必要があるかなど映像に対するコメント添削誤認識対象のバリエーション評価どのような誤認識シーンが必要か映像に対するコメント添削トヨタマツタ名古屋大日立ハナソニック三菱富士通 3 レーザーレンジセンサによる基準距離情報付加の有効性評価カメラとレーザーを用いたセンサフュージョンによるベンチマーク評価などを含む歩行者の属性情報等を用いたタグ情報の有効性評価属性情報を活用した歩行者の挙動解析などのタグ情報の有効性評価真値タグ付き画像の活用方法検討および追加タグ情報の提案事業成果の新たな活用展開に係る検討や提案を希望性能評価ハイビジョンカメラ画質 (1920x1200 画素 ) を画素抜きやノイズ等の画質を劣化させた環境劣化状況と既存カメラシステムとの認識率等の比較評価 ( 高分解能カメラの有効性を評価 ) 画像明暗 ( 昼夜影等 ) による認識率変化評価 ( 画像データの平均輝度のバリエーション評価 ) 11

歩行者を評価する場合画像タグ情報タグ有タグ無有 (TP) 誤検出 (FP) 無未検出 (FN) (TN) 評価指標 Precision 適合率 ( 正解率 ) Recall 再現率 F-measure

12 参考 1.1 走行映像 DB の評価 ( トヨタ自動車 ) 映像データの 27 シーン分類の指針検討および有効性走行映像データベースの各シーンに対し事故分析等の一般的な手法を活用して追加すべきシーンや不要なシーンを考察誤認識対象のバリエーション評価走行映像データベースの各シーンに対し事故分析等の一般的な手法を活用して追加すべきシーンや不要なシーンを考察し報告検出結果例. 歩行者を評価する場合画像タグ情報タグ有タグ無有 (TP) 誤検出 (FP) 無未検出 (FN) (TN) 評価指標 Precision 適合率 ( 正解率 ) Recall 再現率 F-measure Precision&Recall の調和平均未検出率真値タグ付き画像の活用方法検討および追加タグ情報の提案画像データやタグ情報に対し画像ビューアを活用するなどして画像データの有効活用方法や追加すべきタグ情報を検討式 TP/(TP+FP) TP/(TP+FN) 2TP/(2TP+FP+ FN) FN/(TP+FN) 誤検出率 FP/(TP+FP) 12

13 参考 1.2 走行映像 DB の評価 ( マツダ ) 真値タグ付き画像の活用方法検討および追加タグ情報の提案タグ情報 ( 歩行者及び車両 ) を活用した交通シミュレータの育成走行映像 DB 活用 1 真値タグ付き画像を教師データとして利用し歩行者及び車両のタグ付け情報及び画像から特徴量を抽出し歩行者および車両の動きをモデル化車両シミュレータの動画を表示車両シミュレータ育成撮像車載カメラ XML 活用 2 タグ情報を時系列に組み合わせ車両シミュレータ用評価シナリオ ( 危険なシーンの組み合わせ ) が生成の検討 HILS 制御モデル 13

14 参考 1.3 走行映像 DB の評価 ( 日立製作所 ) 映像データ 27 シーン分類の妥当性および有効性の評価歩行者の属性情報等を用いた認識アリゴリズムの性能比較評価 14

15 参考 1.4 走行映像 DB の評価 ( 三菱電機 ) レーザレンジセンサによる基準距離情報付加の有効性評価高分解能カメラの有効性評価真値タグ付き画像の活用方法検討および追加タグ情報の提案社会インフラ点検システムや都市計画支援システムといった全く別の分野での活用 15

16 参考 1.5 走行映像 DB の評価 ( パナソニック ) 真値タグ付き画像の活用方法検討および追加タグ情報の提案真値タグ情報を正解値とし歩行者 ( 人 ) 検知を中心とした保有する 2 種類の画像認識アリゴリズムを用いた認識率の性能比較の評価天候条件や時間帯 ( 昼夜 ) 色調や対象物までの距離複雑な形状や物体の重なりなど条件における性能比較の評価真値タグに対する歩行者検知数分析傾向正解未検知誤検知 27 シーン別分類 1 分類 2 方向付属物隠れ天気色時間アルゴ 1 アルゴ 2 16

参考 1.6 走行映像 DB の評価 ( 富士通 ) 映像データ 27 シーン分類の妥当性および有効性の評価シーン網羅性に対する考察指針 : 性能差を把握できるようなシーンを網羅的に絞込むシステム作動する環境でのロバスト性網羅性を評価するシーン ( 渋滞市街地 ) 画像の誤認識しやすいシーン ( 照度条件 [ 逆光夜間 ] 複雑な背景 ) 他センサが苦手とするシーン ( 複雑形状 [

17 参考 1.6 走行映像 DB の評価 ( 富士通 ) 映像データ 27 シーン分類の妥当性および有効性の評価シーン網羅性に対する考察指針 : 性能差を把握できるようなシーンを網羅的に絞込むシステム作動する環境でのロバスト性網羅性を評価するシーン ( 渋滞市街地 ) 画像の誤認識しやすいシーン ( 照度条件 [ 逆光夜間 ] 複雑な背景 ) 他センサが苦手とするシーン ( 複雑形状 [ 乱反射強反射 ] 物体が重なっている ) 27 シーン分類提供データ 1Pick Up 2 追加映像を抽出 1 単路追越し ( 歩行者 ) : : 27 交差点事故シーンシーンA シーン A 歩行者 C 車速車速 :10km/h ( 子供白シャツ :10km/h 追越し ) 追越し映像データ 27 シーン分類の妥当性および有効性の評価 DB( タグ情報 ) 内容の過不足改善点の抽出各システム(AEB LKA 追突防止巻込み防止 etc) が要求する画像センサ障害物検知標識検知信号機検知白線検知など様々である画像データに添付されているタグ情報を確認し付随するタグ情報に対して抜け漏れがないかどうかの確認障害物検知の要求仕様 ( 例 ) 項目仕様シーン X シーン Y 27 シーンのうちサンプリングした一部のシーン分類のみ評価実施最大検知障害物数 12 出力認識対象物人 ( 歩行者子供 ) 二輪車 ( 自転車バイク ) 静止障害物 ( ポール壁 ) それ以外の特殊物 ( カートセグウェイ ) 自動車 ( 大型普通軽 ) 距離範囲距離精度 1~20m 精度 5% SIPシステム実用化 WG < > 角度精度 ±30deg 精度 0.1deg 検知したい距離角度隠れた自転車より電検柱にタグが必要 17

参考 1.7 走行映像 DB の評価 ( 名古屋大学 ) レーザーレンジセンサによる基準距離情報付加の有効性評価カメラ映像のみを用いた歩行者検出手法とレーザーレンジセンサより得られる距離情報を併用したセンサフュージョンに基づく歩行者検出手法それぞれの性能を評価しカメラとレーザーレンジセンサを組み合わせるセンサフュージョンによる性能改善の度合いを定量化画像のみから歩行者検出する方法

18 参考 1.7 走行映像 DB の評価 ( 名古屋大学 ) レーザーレンジセンサによる基準距離情報付加の有効性評価カメラ映像のみを用いた歩行者検出手法とレーザーレンジセンサより得られる距離情報を併用したセンサフュージョンに基づく歩行者検出手法それぞれの性能を評価しカメラとレーザーレンジセンサを組み合わせるセンサフュージョンによる性能改善の度合いを定量化画像のみから歩行者検出する方法ベースラインによる手法色特徴形状特徴などを組合わせる最先端手法深層学習 (Deep Learing) に基づく手法 + レーザレンジセンサによる距離情報距離情報付加により検出精度向上が期待画像明暗 ( 昼夜影等 ) による認識率変化評価 ( 画像データの平均輝度のバリエーション評価 ) 撮影条件の違いによって発生するカメラ映像中の明暗変化によりどの程度歩行者検出性能が変化するかを定量的に評価時間帯や照明などの条件に応じて画像を分類各条件での認識精度を比較様々な条件で照明等による歩行者検出の性能低下を定量化 18

19 参考 2. タグ付け技術開発 (H28 年度 : 自動タグ付け機能の概要 : 再掲載 ) 1 単眼カメラ画像から障害物との距離を推定しタグ付け画像中の障害物の種類を判別しタグ付けする仕組みに加え H28 年度は障害物との 3 次元的な位置関係を把握する 3D 単眼画像認識技術を用いてタグ付けを行う仕組みを研究 ~H27 年度 : 画像中の物体の種類を判別タグ付け H28 年度 : 物体との 3 次元位置関係を把握タグ付け 2 自動タグ付け処理速度の向上対応 : 自動タグ付け処理の並列処理化を進め単位時間あたりの処理量を増やすことにより処理速度の向上を図る目標 :H27 年度の 2 倍以上 ( 単位時間あたりの処理量 ) 19

参考 2.1 タグ付け技術開発 ( 距離情報付加仕様 ) 入力仕様単眼ハイビジョンカメラによる走行映像カメラに必要な初期設定情報カメラレンズの歪補正用パラメータカメラ地上高カメラ取付けピッチカメラ取付け位置 ( 車両中心とのオフセット距離 ) 出力仕様障害物の種類歩行者自動車 ( 普通車大型車 ) 自転車二輪車自動化対象物障害物までの距離

20 参考 2.1 タグ付け技術開発 ( 距離情報付加仕様 ) 入力仕様単眼ハイビジョンカメラによる走行映像カメラに必要な初期設定情報カメラレンズの歪補正用パラメータカメラ地上高カメラ取付けピッチカメラ取付け位置 ( 車両中心とのオフセット距離 ) 出力仕様障害物の種類歩行者自動車 ( 普通車大型車 ) 自転車二輪車自動化対象物障害物までの距離カメラを原点とした障害物までの前方左右方向の距離をメートル出力 (m) で分解能 0.1m カメラ取付け位置と車両位置とのオフセット距離がわかれば車両中心座標への変換可能目標性能 :±5% 以内出力周期 : 60fps:6 フレーム毎 25fps:2 フレーム毎注意事項自車両のピッチ方向の姿勢変化道路形状 ( 登り下り坂 ) が測定結果へ影響を及ぼす場合があり CAN 情報による補正は実施しません映像中の障害物に隠れ見切れなどが発生している場合で画像認識が出来ない場合は距離情報は生成されません 20

21 参考 3. 検索エンジンの開発 ( 再掲載 ) 狙い : 膨大に蓄積されたデータに対し効率的なデータ抽出を実現するためのメタデータ管理方式と検索機能検索エンジンにおける基本アーキテクチャ 21

22 参考 3.1 検索エンジンの開発 (H28 年度 : 検索エンジンの概要 ) 1 シーン特性が X で 2Y が映っている 3 データがほしいデータ群 1 元データがシーン相当 ( シーン等 ) 発話ログ ( 状況動作を表す情報 ) 集約データシーン単位データ群 2 元データが詳細なため集約 ( レーザセンサ GPS 等 ) データ群 2 詳細なまま活用するが一部集約 ( タグ情報等 ) シーン内の特徴抽出例 )max(xx) max(xx) 特徴的オブジェクト抽出例 ) 台車ベビーカー全てのオブジェクト情報検索用分類キーの update 詳細データ画像単位 1 2 検索エンジン UI 3 蓄積されている群データ画像タグ ( 非構造 ) シーン ( 車両 ) シーン ( 切出し ) レーザセンサ情報 ( 非構造 ) GPS 22

資料 2 < 道路交通 WT 資料 > 戦略的イノベーション創造プログラム SIP ( 自動走行システム ) 走行映像データベース構築技術の開発及び実証 2017 年 3 月 9 日一般財団法人日本自動車研究所 1

資料 2 < 道路交通 WT 資料 > 戦略的イノベーション創造プログラム SIP ( 自動走行システム ) 走行映像データベース構築技術の開発及び実証 2017 年 3 月 9 日一般財団法人日本自動車研究所 1 1. 走行映像データベース開発の背景走行映像 DB 開発の狙い海外メカサフライヤは OEM 各社に自社開発製品を供給し実車実路走行テータを入手することで効率よく製品を改良