CV映像と三次元地図

Similar documents
ドライビングシミュレータ用実写映像再生ソフトウェア Real Video Drive Player

国交省様向け Web版道路ビデオGISのご紹介

<90E096BE8F912E786C7378>

円筒面で利用可能なARマーカ

全地連"次世代CALS"対応研究会 報告書

コンピュータグラフィックス第8回

株式会社ビィーシステム 概要資料

名古屋大学.indd

<4D F736F F D F43494D C CA48F438AE989E62888C4816A7234>

人間の視野と同等の広視野画像を取得・提示する簡易な装置

資料 2 < 道路交通 WT 資料 > 戦略的イノベーション創造プログラム SIP ( 自動走行システム ) 走行映像データベース 構築技術の開発及び実証 2017 年 3 月 9 日一般財団法人日本自動車研究所 1

PowerPoint プレゼンテーション

AutoCAD LT2000i

GIS利用クイックチュートリアル

コンピュータグラフィックス第6回

Vectorworks 投影シミュレーションプラグイン

Microsoft Word - BentleyV8XM_GoogleEarth.docx

Microsoft Word - 白井散策マップ_日本語マニュアル.docx

ArcPad の代替となる現地調査ソリューションについて

起動時

2008 年度下期未踏 IT 人材発掘 育成事業採択案件評価書 1. 担当 PM 田中二郎 PM ( 筑波大学大学院システム情報工学研究科教授 ) 2. 採択者氏名チーフクリエータ : 矢口裕明 ( 東京大学大学院情報理工学系研究科創造情報学専攻博士課程三年次学生 ) コクリエータ : なし 3.

Microsoft Word _あり方資料3.docx

0 21 カラー反射率 slope aspect 図 2.9: 復元結果例 2.4 画像生成技術としての計算フォトグラフィ 3 次元情報を復元することにより, 画像生成 ( レンダリング ) に応用することが可能である. 近年, コンピュータにより, カメラで直接得られない画像を生成する技術分野が生

LEXUS Apps エージェント + マニュアル 2014/08/01 作成 2018/07/19 更新 1. エージェント + とは 基本的な使い方 お好み情報の学習 生活圏内 / 生活圏外について プライバシーモードについて

vecrot

(Microsoft PowerPoint -

<81798AC7979D B838B92CA904D8BB388E A937393B9957B8CA B835790A78DEC D815B2E786C73>

写真の閲覧方法 1. 閲覧する納品データの種類の選択 ( 写真 ) P3 写真の閲覧写真の閲覧写真の閲覧 2. 写真を一覧から選択 表示 3. 写真をサムネイル一覧から選択 表示 4. 写真をアルバム形式で表示 P5~ P7~ P9~ 5. 写真の便利な表示方法 拡大 / 縮小 回転 明るさ補正 6

32-2 一般ユーザー用 : ドキュメント カテゴリ MAP での選択または 抽出条件設定画面にて 抽出 をクリックする事で 該当するデータが一覧で表示されます 結果一覧画面 表示項目説明カテゴリカテゴリ名を表示します をクリックすると カテゴリ表示順昇順に並べ替えが行えます をクリックすると カテ

<4D F736F F F696E74202D A834C A AA89C889EF C835B B E B8CDD8AB B83685D>

1. エージェント + とは カーナビの目的地を設定していなくても ビッグデータから今後の行先と走行ルートを 予測し ルート上の交通情報や天候 路面情報をお知らせする 先読み情報案内 サービスです 例えば 通勤 通学でいつも通る道に 渋滞や規制が発生している場合には ドライバーが早めに その情報を察

GoogleMoon

RS-MS1A ~オフライン地図について~

<4D F736F F F696E74202D E838B93B E907D8BA689EF82CC8EE E B8CDD8AB B83685D>

IMUシュミレータインストール方法

Microsoft Word - 資料4(修正).docx

505_切削オーバーレイ

(Microsoft PowerPoint - \216\251\223]\216\324\224F\216\257\202\314\223\256\214\374.pptx)

国産BIM建築設計システム「GLOOBE 2018」2017年9月20日発売

情報漏洩対策ソリューション ESS REC のご説明

Microsoft PowerPoint - 18hatakeyama2.ppt

Microsoft PowerPoint - pr_12_template-bs.pptx

Microsoft PowerPoint - 口頭発表_折り畳み自転車

国土技術政策総合研究所 研究資料

高分解能衛星データによる地形図作成手法に関する調査研究 ( 第 2 年次 ) 実施期間平成 18 年度 ~ 測図部測図技術開発室水田良幸小井土今朝巳田中宏明 佐藤壮紀大野裕幸 1. はじめに国土地理院では, 平成 18 年 1 月に打ち上げられた陸域観測技術衛星 ALOS に関して, 宇宙航空研究開

Wi-Fi テザリングで使う MapFan の会員登録をする Wi-Fi テザリングで使用するためには KENWOOD MapFan Club 入会し MapFan Web で会員登録が必要です 連携するスマートフォンはテザリング契約が必要です 1 KENWOOD MapFan Club にスマート

Wi-Fi テザリングで使う MapFan の会員登録をする Wi-Fi テザリングで使用するためには KENWOOD MapFan Club へ入会し MapFan Web で会員登録が必要です 連携するスマートフォンはテザリング契約が必要です 1 KENWOOD MapFan Club にスマー

スライド 0

スライド 0

<4D F736F F F696E74202D2093B CC8BE68AD B B82CC8AD AF95FB96405F88EA94CA ED28CFC82AF82C995D28F575F826C A6D94462E >

スライド 1

<4D F736F F D AF990AC907D C89BB82C B835E8C608EAE>

Limedio 書誌を登録 コンテンツ関連付け制御システム 収録スケジュールを登録 カメラで収録 自動収録手動収録 授業 映像変換用端末 編集システムに映像取込 AIC に変換 ハイビジョン (H.264) に変換 RealMedia に変換 スライドを登録 (MPMeisterRocket) コン

目 次 1. はじめに 動作システム 起動方法 本ツールの機能 計算方法 使用方法 緯度 経度への換算 平面直角座標への変換 一度に計算可能なデータ数と追加方法

民間事業者等によるサービス実証成果報告(日本電信電話・ジェイアール東日本コンサルタンツ)

コンピュータグラフィックス演習 I 2012 年 5 月 21 日 ( 月 )5 限 担当 : 桐村喬 第 7 回モデリングの仕上げ 1 カメラワークとアニメーション 今日の内容 1. カメラワーク 2. シーンの設定 3. アニメーション 前回のテクスチャの紹介 1 / 10

<4D F736F F F696E74202D E E096BE8E9197BF B998488AC28BAB89DB2E B8CDD8AB B83685D>

本章では 衝突被害軽減ブレーキ 車線逸脱警報 装置 等の自動車に備えられている運転支援装置の特性 Ⅻ. 運転支援装置を 備えるトラックの 適切な運転方法 と使い方を理解した運転の重要性について整理しています 指導においては 装置を過信し 事故に至るケースがあることを理解させましょう また 運転支援装

カメラレディ原稿

PowerPoint プレゼンテーション

402_トラバース計算

超コンパクトで軽量 Open & Play 静か Bkool One トレーナーは非常にコンパクトで軽量で 簡単に折りたたむことも可能で 重量も 8 kgしかないことから 運ぶのにも便利です この革新的なトレーナーは Open & Play をコンセプトとしており 設置作業が要らず ユーザーは箱から

道路規制情報登録システム 平成 25 年 5 月 13 日 GIS 大縮尺空間データ官民共有化推進協議会 支援グループ

211_法面展開図の作成

1. 研究背景 目的 2. 使用機器 3. 橋梁点検システム 4. 選定橋梁 5. 安全対策 橋梁点検フロー 6. 計測結果 計測条件 7. まとめ - 2 -

AI 人物検索サービス Takumi Eyes 監視カメラ映像から特定の人物をリアルタイムに追跡 ~ 2018 年 10 月 4 日 NTTコミュニケーションズ株式会社 アプリケーション & コンテンツサービス部 AI 推進室 宮原拓磨 Copyright NTT Communications Co

Spydercheckr03.indd

学習のライフサイクルを支援する史跡学習システムの開発 松江工業高等専門学校 藤井諭後田真希南葉恵美子

武蔵12_体験版操作説明書(トラバース計算)

Microsoft Word - 資料6(修正).docx

地図情報の差分更新・自動図化 概要版

レイアウト 1

といえる また で示した QEDSoft とは通常の Web ページにキャラクタを配置することのできる Web3D ソフトウェアであり 3DSMAX から変換することでキャラクタを作成することができるものである また Web3D としては Viewpoint も試みた その利用価値は高いことがわかっ

<4D F736F F F696E74202D CB4967B2D8F6F93FC8AC48E8B8D9E F8E9E8C9F8DF5817A D C882F182C282A C520837D836A B2E707074>

SMv6menyu02Express.graffle

<4D F736F F D FC8E448FEE95F1837C815B835E838B C8F92E88B608F912E646F63>

目次 1. アニメーションの仕組み 3 2. ワードアートでムービーのタイトルを作成 7 3. まとめ 課題にチャレンジ 19 [ アニメーション ] 機能 PowerPoint に搭載されている [ アニメーション ] 機能を使用すると 文字や図形にアニメーション ( さまざまな動きや

ご使用の前に KENWOOD 製対応カーナビゲーション MDV-Z700W/MDV-Z700/MDV-R700/MDV-X500 MDV-X500 は Bluetooth に対応していないため Android スマートフォンは使用できません iphone はご使用になれます カーナビと接続するケーブ

コンテンツ作成基本編

帳票OCR Ver.8

(2)【講義】

第10章 OCR設定

410_道路規制図の作成

データバンクシステム構築業務

情報連携用語彙データベースと連携するデータ設計 作成支援ツール群の試作及び試用並びに概念モデルの構築 ( 神戸市こども家庭局こども企画育成部 千葉市総務局情報経営部業務改革推進課 川口市企画財政部情報政策課 ) データ構造設計支援ツール設計書 2014 年 9 月 30 日 実施企業 : 株式会社ア

Microsoft Word - report_public.doc

基本作図・編集


FAQ案(Linkup Manager)

ご使用の前に カーナビと接続するケーブルについて iphone で接続する場合 : 別売の KCA-iP102 または KCA-iP212 をご使用ください [ 商品購入 ] にタッチします 画面にしたがって操作してください iphone の場合 Android スマートフォンの場合 Android

Mapmakerfor の手順下絵を準備 作者の設定した大きさで作成する場合 下絵にする地図を挿入 トリミングと大きさの調整 大きさを調整した画像を保存 下絵を背景に設定 作成画面の大きさを調整 1 自分で用意した下絵を背景にする場合 下絵を背景に設定 作成画面の大きさを調整 画像が大きい場合シート

電子国土Webシステムの概要

<4D F736F F D B837D834A3F89EF88F58B40945C82C982C282A282C42E646F63>

目次 1. アニメーションの軌跡の概要と仕組み 3 2. パノラマ写真にアニメーションの軌跡を設定 まとめ 課題にチャレンジ 19 レッスン内容 アニメーションの軌跡の概要と仕組み アニメーションの軌跡とは スライドに配置したオブジェクト ( テキストや図形 画像など ) を

<4D F736F F F696E74202D F817993FA967B90BB8E8695A897AC817A89DD95A892C790D F6C30362E707074>

< F2D D E6A7464>


Studuinoプログラミング環境

isai300413web.indd

屋内 3 次元 測位 + 地図 総合技術開発 現状 屋内 3 次元測位統一的な測位手法 情報交換手順がなく 共通の位置情報基盤が効率的に整備されない 技術開発 屋内外のシームレス測位の実用化 (1) 都市部での衛星測位の適用範囲拡大 (2) パブリックタグ 屋内測位の標準仕様策定 効果 3 次元屋内

Transcription:

CV 映像と三次元地図 ご説明資料 平成 21 年 7 月 株式会社 岩根研究所

目 次 はじめに CV( カメラベクトル ) 映像について 撮影方法 完全な全周囲映像 CV 映像から生まれる各種応用技術と可能性 CV 応用技術 ( 実用化段階 ) 地図とリンクした映像 ( ビデオGIS) 揺れ止め表示 ( 制御 ) 画像の揺れ解析による 車両乗り心地評価 画像の揺れ解析による 勾配データ等路面状況の解析 任意点の緯度経度高度表示 フレーム内の三次元計測 フレーム間の三次元計測 対象物ロックオン表示 実写映像とCGの合成 三次元 CGのアイコン化及び属性登録 (CVタグ) 実写対象物のアイコン化及び属性登録 洪水シミュレーション 道路工事許認可の為のシミュレーション 景観検討 オルソ画像の自動生成 CV 映像から対象物のCGの生成 三次元地図の手動生成 CV 映像技術の総集編としての新商品 ALV( Active Link Vision ) iicosmo グーグルアースとALVリンク 超広角映像 CV 応用技術 ( 開発中 ) RCG - Real Computer Graphics - 背景の削除 背景抽出 動画像から三次元 CGを自動的に生成 ( 視点変更可能な画像作成 ) 移動体検出と移動体の動作解析 リアルタイムCG 合成 車両認識 三次元空間における対象物認識 ( 例 : 交通標識自動認識 ) PRM(Parts Reconstruction Method) による三次元認識 1 PRM(Parts Reconstruction Method) による三次元認識 2 CV 映像を利用した三次元地図の今後 第 1 段階処理のCV 映像三次元地図 第 2 段階処理のCV 映像三次元地図 三次元地図の全国道路データベースの潜在需要 次世代カーエレクトロニクスに於ける三次元地図とALVの役割 1 2 4 5 6 6 6 6 7 8 9 9 10 10 11 11 12 12 13 13 14 14 15 17 18 19 20 20 21 22 23 24 25 26 27 28 29 29 30 30 31

はじめに 弊社は ロボットの目 すなわち視覚情報による人工知能実現を目指しています そのために 現在は画像からの三次元空間解析 三次元画像認識を当面の課題として研究開発を行っています 人工知能の最初の応用として カーエレクトロニクスへの応用を考えております 当面の目標としては 将来の車両の自動運転につながる自動案内装置が考えられます 有効な車両自動案内や自動運転のためには 走行する三次元空間における自車両の位置を数 cm 精度で求める必要があります また 同等の精度で比較するための三次元地図を必要とします この精度の車両位置検出を実現するために 弊社では全周囲動画映像を利用しカメラ位置を高精度に求める技術の開発を行いました 弊社が利用したカメラは 高精細な全周囲動画映像を取得するため六個の CCD を持つもので それぞれの CCD で取得した映像を合成することで全周囲映像を作り出す仕組みを取っています 弊社では カメラキャリブレーションから画像処理 動画像作成 全周囲動画映像の三次元化までの一連の技術を独自に開発し その高度化と応用技術開発を進めています この精度のリアルタイム計測において従来の GPS の精度不足は明らかであり 概略位置取得のためにのみ利用されます メルカトール図法で展開された全周囲映像 1

CV( カメラベクトル ) 映像について 弊社の技術の特徴は 全周囲動画映像からカメラ位置を自動的に高精度に求めることにあります 弊社では 全周囲動画映像を 360 度の水平方向のみでなく仰角俯角映像も持つことから 4π ビデオ映像と呼んでいます また この 4π ビデオ映像を画像処理し 4π ビデオ映像から三次元情報を取得できる三次元化映像を CV 映像と呼んでいます CV とは カメラベクトルのことです また このカメラベクトルを求める演算を CV 演算と言います また CV 値とは撮影カメラの 6 自由度を持つカメラベクトルを意味し 映像の各フレームの三次元位置を三次元姿勢 (CV 値 ) を意味します CV 映像とは 通常映像 C V 映像 各フレームに対応するカメラ位置 ( X,Y,Z ) と姿勢 ( θ x,θ y,θ z ) を画像から取得 映像のみ 見るだけ 中間処理映像として様々な技術展開が可能 CV 値は GPS と IMU からでも取得できますが 弊社は 4π ビデオ映像を用いて カメラの位置と姿勢を数学的解析により精度の良い CV 値を求めています 4π ビデオ映像はまた映像の各ピクセル座標がカメラ中心からの方向を示しており 古典的な三角測量の線形代数の範囲で処理可能であり しかも演算に必要な特徴点を全方向に対して取得できるので演算精度が向上するという優れた特徴を持っています 各フレームの位置 (X, Y, Z) と姿勢 (θx, θy, θz) 移動 全周カメラ 対象物 2

さらに特記すべきは CV 映像を取得するには複数カメラは必要なく 単一カメラで良いということです CV 演算は原理的に単一カメラで処理が出来るため 装置がきわめて単純化されるという優れた特徴があります この方法により映像の各フレームに対応するカメラ位置 (X,Y,Z) と姿勢 (θx,θy,θz) の三次元データが映像の全フレームについて求められ それが映像データに付加され 新しい概念の CV 値付加全周映像 即ち CV 映像を取得しています ここで映像の各フレームが CV 値を持ったことで映像はいつでも三次元化が可能な状況になっています このことから CV 映像を 2.5 次元映像と呼ぶこともできます 全フレームのカメラ位置と姿勢が既知となったことで カメラ移動近傍の対象物を広範囲の視角からとらえ 対象物の三次元座標や 三次元形状を座標と共に読み取ることが可能となります 又映像があたかも CG であるかのように 様々な映像の加工が可能になるという優れた特徴を持っています カメラベクトル (CV 値 ) と映像 CV 値と映像から抽出された特徴点 3

撮影方法 弊社の撮影方法の特徴は カメラ 1 台と PC のみを搭載できれば どこでも撮影可能であるということです GPS IMU を必要とせず カメラのみで行うことができます 6 個の CCD レンズのついた全周カメラを使用します 車両の上にカメラを設置して撮影します 車内に PC を設置します 撮影風景 映像を確認しながら リアルタイムで設定を調整します 4 天気 路面等すべての状況を確認し合いながら 撮影します

完全な全周囲映像 独自の歪み補正技術により 六個の CCD から取得した映像を 歪みのない全周囲映像に合成しています また 車両やカメラによる死角が発生するため 元の映像には道路面に撮影されない範囲が存在しますが 前後のフレームから最適な画像を三次元的に抽出し 自動的に合成することにより 死角のない完全な映像を提供しています 完全な全周囲映像 撮影位置に穴のある映像 死角のない映像 5

CV 映像から生まれる各種応用技術と可能性 弊社がこれまで人工知能実現のために開発してきた CV 映像関連技術は これまで困難とされてきた 人工知能実現の技術的課題と製造コストを一気に解決する可能性を持っています 弊社では この CV 映像応用技術として以下に示すような技術を産み出しています CV 応用技術 ( 実用化段階 ) 地図とリンクした映像 ( ビデオ GIS) 弊社は 国土交通省殿の国道事務所殿に 4π 映像 CV 映像を併せて 8,000km 強の納入実績を持っています これは GIS 地図と映像がリンクしたシステムであり 道路維持管理 交通安全対策等に利用されています 揺れ止め表示 ( 制御 ) CV 演算により 撮影時のカメラの三次元の揺れを高精度で検出できます センサーを使用しない画像からの揺れ情報の検出に応用が期待できます また 揺れデータから映像の揺れを止めて表示することが可能となり また将来は リアルタイムで取得した揺れデータにより カメラが固定されている車両自身を制御して 車両の揺れを止めることも可能です 回転量差分 (deg/frame) 回転量差分 (deg/frame) 1 0.8 0.6 0.4 0.2 0-0.2-0.4-0.6-0.8 0 98 1 0.8 0.6 0.4 0.2 0-0.2-0.4-0.6-0.8 0 98 揺れ検出量 196 294 392 490 588 686 784 882 980 1078 1176 1274 1372 1470 1568 1666 1764 1862 1960 2058 196 294 392 490 588 686 784 882 980 1078 1176 1274 1372 1470 1568 1666 1764 1862 1960 6 frame 揺れ止め制御 frame 2058 2156 2254 2352 2450 2548 2646 2156 2254 2352 2450 2548 2646 2744 2842 2940 3038 3136 3234 3332 3430 3528 3626 3724 3822 3920 4018 2744 2842 2940 3038 3136 3234 3332 3430 3528 3626 3724 3822 3920 4018 x y z x y z

画像の揺れ解析による 車両乗り心地評価 車載したカメラの三次元の揺れを検出して車両の揺れを評価できることを利用し 道路の荒さ評価 及び道路面状況を含めた車両の乗り心地評価への応用が可能です さらには 揺れまで再現するドライビングシミュレータを実現できます 実写映像に CG を合成し CG の揺れにより車両の揺れ状況を再現した例 7

画像の揺れ解析による 勾配データ等路面状況の解析 車載したカメラの三次元の揺れを検出できることを利用して 道路勾配の取得等道路面の調査にも利用可能です CV 映像から作成したオルソ画像に勾配をプロット ( 単位 %) 8

任意点の緯度経度高度表示 CV 映像はカメラ座標を持っているので カメラ座標との関係から各画素は直角座標系として表示可能です 特に 三点以上の基準点を用いて CV 映像をキャリブレーションすれば CV 映像内の任意の点を公共座標で表示することが可能となります 当然 撮影時に GPS 等を用いることで 公共座標を持った CV 映像も作成可能です フレーム内の三次元計測 CV 映像の各フレームはカメラ位置を持っているので フレーム内の任意の位置の座標を求めることが可能となり さらに任意の二点間の距離を計測することが可能となります 9

フレーム間の三次元測量 CV 映像の各フレームはカメラ位置を持っているので 各フレーム間距離は既知となり さらにフレーム内の各画素は既知となり 任意のフレーム間の任意の二点間の距離が演算で求められます 撮影した映像の全フレームが CV 値により三次元空間で関連付いています 計測起点指定 計測終点指定 動画を再生し計測点が近くなってから終点指定 対象物ロックオン表示 CV 映像中の対象物はその三次元座標を特定できるので 映像として移動する対象物を画枠内の任意の位置に固定して観察することが可能です 例えば 移動する映像中の目的の対象物を常に画枠の中央に固定して表示することが可能となります また 表示し 観察するだけではなく 常に画像の固定された位置で計測 解析することが可能となります 10

実写映像と CG の合成 カメラ位置が演算で求められることから CG を既知のカメラ位置から観察した位置に配置することで CG と動画映像を矛盾無く合成することが可能です 三次元 CG のアイコン化及び属性登録 (CV タグ ) 映像と CG の合成機能により 目的の対象物に三次元アイコンを貼り付け 対象物をアイコンとして用いることが出来きます 映像中の CG をクリックすることで 例えば検索した結果をウェブページで表示する等 任意の属性データを CG アイコンに関連付けて付加することができます CV 映像とCG 合成表示の利用例 目的の対象物を矢印アイコンで示す 通りの名称を三次元看板で表示 目的のビルのCG 看板を空間に配置 検索結果を映像中にCG 矢印で示す 各種案内利用 11

実写対象物のアイコン化及び属性登録 CV 映像中の対象物は三次元的に特定されているので 対象物をそのままアイコンとすることが可能です 例えば 画像中のビルをクリックするとそのビルのウェブページを表示することが可能となるなど 任意の属性データを実写映像に付加することができます 構造物や建物他映像内の対象物すべてが属性情報の器となる CV 映像中の対象物を映像そのままアイコンとして利用例 画像中のビルをクリックするとそのウェブページを表示 洪水シミュレーション 実写を CG のように使ってシミュレーションを行うことができます 例えば 洪水シミュレーションにおいて 水を CG で表現し実写映像内で CG を合成し 洪水シミュレーションを行うことが可能となります 12

道路工事許認可のためのシミュレーション 道路工事現場の現況確認と工事時の保安機材の配置をシミュレーション出来ます 実映像に保安機材を配置出来るので許認可手続がスムースに行えます 地図上に配置された保安機材を自動的に映像中に反映 景観検討 実写映像への CG 合成により 方面看板の大きさの検討に利用されています その他 電柱地中化や町並みの変更時の景観検討に利用できます 既設の方面看板を一旦消去 大きさデザインの異なる CG を配置し検討 13

オルソ画像の自動生成 車載したカメラからの映像から 道路面のオルソ画像の自動生成が可能です 通常の地図の自動作成に利用できます 映像から対象物の CG 生成 三次元地図の手動生成 CV 映像中では 映像としての対象物を計測しながらなぞることで 対象物の座標を取得できるので 三次元 CG の形状を映像から取得することが出来ます このことで CG 作成は単純化され また同様にして 三次元地図が生成できます また 作成された CG または三次元地図は いつでも CV 映像と重ねて表示することができます 実写映像から作成された三次元モデル 実写映像から作成された三次元モデル 三次元モデルと実写映像の合成 14

CV 映像技術の総集編としての新商品 ALV(Active Link Vision) CV 映像基本技術を全て網羅した商品が ALV です ALV は上記様々な技術を組み合わせて利用することが出来る汎用のライブラリを持った商品です ALV の表示例 ( 地図 航空写真 複数 CV 映像 ) ALV 表示例 ( 地図 CV 映像 ) ALV CG 合成 ALV 計測 ALV をカーナビとして利用前述の技術以外にも 今後開発される基本技術も統合できるように設計されています 例えば ALV は絶対座標で管理されているので 車両の座標を入力すればそのままカーナビとしても使用できます GPS の緯度経度位置を表示 GPS 受信機 15

ALV をドライビングシミュレータとして利用ハンドル ブレーキ アクセルの各ペダルを取り付ければドライビングシミュレータに早変わりします そしてそれらを現在開発中 ( 後述 ) の三次元地図とリンクすることも出来ます マルチディスプレイ マルチディスプレイ ハンドル ブレーキ アクセル ALV の CV タグ CV タグは 三次元位置情報を持った情報タグであり CV タグは 映像内のどこにでも置くことが出来ます CV タグに様々な情報を動画にリンクして利用者独自の三次元 GIS データベースの構築が可能です 既存データベースシステム標識台帳等各種管理 DBS 用途に応じた情報の登録 編集 図面 写真各種文書等 HP へリンク 経路案内情報等 16

iicosmo CV 映像の基本技術を Web 上に実現し 地図データベースの上で実現されようとしている二次元の自己増殖型データベース (Web2.0) を三次元の空間に拡張することを提案します 現在 アルファー版として公開しています iicosmo の Web 上映像 全周囲 360 の映像を操作可能 CV タグの多様性 映像内に様々な CV タグ (3DCG) を配置できます ユーザーによる CV タグ情報の登録 Web 上で情報共有ができます CV タグを検索し ジャンプすることも可能です 17 CV タグから 他の Web サイトに直接アクセスできます

グーグルアースと ALV リンク ALV の地図エンジンとしてグーグルアースを利用することで CV 映像を利用した操作性の良い直感的なアプリケーションが地球規模で提供可能となります グーグルアース画面 1 グーグルアース画面 2 グーグルアース画面 3 ALV 画面に切り替え ALV の機能利用 18

超広角映像 新開発 スーパービュー 300 による画角 300 度の超広角映像の特徴は 単に広い範囲が見えるというだけではなく 我々の実際の視覚体験にきわめて近い臨場感と三次元把握が出来ることにあります 超広角映像を動画として見てください 画像に顔を近づけて 片眼で画像の真ん中付近を見ると 実体験に近い臨場感を味わうことが出来ます 画像に顔を近づけることは画角が現実の画角に近づくことを意味します また片眼で見ることの意味は 平面的画像による現実とは異なる両眼視差を排除し 運動視差を優先させて視覚系の情報処理の三次元的把握を活性化させることにより 大画面効果と相まって優れた臨場感を得ることが出来ることにあります 全周囲 360 映像 左 前 右 後 超広角 300 映像 サンプル 海中道路沖縄 19

CV 応用技術 ( 開発中 ) RCG - Real Computer Graphics - 全周囲カメラを車載 航空機 ( ヘリコプター等 ) に搭載し 撮影した全周映像から地形の三次元モデルを自動的に作成します また GPS IMU を必要とせず すべての処理を動画像からのみ行い 正確な三次元モデルを作成できることが大きな特徴です 具体的には 画像内特徴点の高精度長フレームトラッキング技術を特徴としています 三次元形状の自動生成 自動抽出した特徴点の高精度トラッキング 特徴点を自動的につなぎ合わせ三次元ポリゴンを作成します テクスチャの自動生成 作成されたポリゴンには 動画像をテクスチャとしてマッピングされているため どの動画のどのフレームに於いても CG と動画の関係は正確に位置づけられます 20

テクスチャの自動貼替 見る角度に応じて 動画像より自動的に最適なテクスチャを貼り替えて表示するため より自然で リアルな CG 表示が可能となりました 背景の削除 背景抽出 CV 演算により カメラの視点方向を固定することで 対象物を抽出したり 背景を削除したりすることが可能です 街灯削除と背景抽出例 21

動画像から三次元 CG を自動的に生成 ( 視点変更可能な画像作成 ) CV 映像を利用して動画像の全画素の三次元座標を求めることで 動画像内の対象物を三次元 CG 化することが出来ます これは単一カメラで取得した動画像から自動的に三次元画像を連続的に生成するという夢の技術ということが出来ます この様にして生成された三次元画像はそのまま三次元地図として利用できることはもちろん さらには大きな画像圧縮効果をも持ち合わせており 画像配信にも最適です 弊社では既にアルゴリズムとしては確立し 実験的には成功して現在商品化に向けて鋭意開発中です 生成前生成後 生成前 生成後 視点移動例三次元 CG となった画像を様々な視点から見ることができます 22

移動体検出と移動体の動作解析 CV 映像を利用して 動画像より移動体を検出し 追跡します これまでは自車両の CV 値でしたが 移動体の CV 値 ( 移動体の位置と姿勢のデータ ) を求めることが出来るようになりました このことにより移動するカメラに映っている他の移動体の動作の解析 (6 自由度の取得 ) が可能となりました もちろん固定カメラ位置からの解析は当然可能となります 移動体追跡 移動体のタイヤ軌跡と撮影車両軌跡 ( 同時に移動体の揺れ解析 ) 23

リアルタイム CG 合成 リアルタイムに映像内の移動体の CV 値 ( 位置と姿勢データ ) を検出し それに合わせて 3DCG を合成することができます 24

車両認識 固定カメラからの映像をリニア画像に変換し解析して 車両の種類特定とその移動軌跡を検出します ここでは 車種 ( 大型トラック バス 普通トラック 普通車 バイク ) 色 ( 白 灰色 黒 ) 速度 加速度 軌跡を検出しています 加えて 車両にコード付けをして 検出結果を CG 画像としてモニタ可能としています 認識モニタ画面 認識結果 認識結果の CG アニメーション表示 25

三次元空間における対象物認識 ( 例 : 交通標識自動認識 ) CV 映像を利用してあらかじめ空間の解析を行い 認識対象物 検索範囲を特定して自動的に対象物を認識することが可能です 認識された対象物は 公共座標を三次元位置情報として持つことができ 画像認識と三次元地図生成の自動化も可能となります 看板の意味を表示 認識結果を CG に置換 26

PRM(Parts Reconstruction Method) による三次元認識 1 三次元認識用カメラ カメラに接続されたコンピュータ トランプの配置 三次元認識結果を CG 表示 トランプカードの認識とルール理解によるトランプゲーム トランプルール理解による勝ち負けの判断 27

PRM(Parts Reconstruction Method) による三次元認識 2 市街地モデル内での車両認識 モデル内の車両 車両認識用データベース 車両に認識結果の 3DCG 表示 事故 事故の状況判断と 3DCG 表示 28

CV 映像を利用した三次元地図の今後 映像は見るためのものですが CV 映像 は見るためだけの映像ではなく 計測するための映像と言うことが出来ます 従って CV 映像はそのまま三次元地図として用いることが出来ますし さらには目的に応じて処理することで多目的の三次元化地図とすることが出来ます 特に CV 映像を三次元地図として利用する視点で検討すると以下のような処理段階が考えられます 第一段階処理の CV 映像三次元地図 現実映像を撮影し CV 処理を施し CV 映像 とし PC にインストールして持ち歩くことが可能となったことで 三次元地図として様々な応用が考えられるようになりました 一つの例として 工事現場を CV 映像 として PC にインストールして持ち歩けば いつでも どこでも 映像内の任意の一点を指定することで 緯度経度高度を表示したり 映像内の二点間の三次元計測が画像フレーム内のみならず複数の画像のフレーム間でも可能となり 映像を CG のように扱うことで映像と CG との合成が可能となり また映像から CG を生成したり 設計段階ではさまざま完成予想図を条件を変えて動画像の中にはめ込んでシミュレーションすることが可能となりました また CV 映像 の中の対象物は CG と同じように座標を特定できるので 映像内の対象物に属性を付加することが出来ます つまり映像中の対象物を特定して その属性を記録したり 検索したり 表示したりすることが出来ます 例として カーナビゲーションに CV 映像 を配信すれば その場の三次元計測や 映像内のビルや施設の属性データを瞬時に取得できることになります さらに CV 映像 は三次元地図としての機能を持っているので 走行車両からリアルタイム映像を取り込み 三次元地図としての CV 映像と比較し CV 映像上に走行車両の走行軌跡を表示することが可能となり GPS によるものよりも高い精度で車両位置をリアルタイムで特定できます これは自動運転及び人工知能の一歩手前の技術です また 走行中の自車両を CV 映像中に前から 及び後から 交差点の他方向から観察できます 走行中車両の CG 表示 ( 後ろから ) 走行中車両の CG 表示 ( 交差点の他方向から ) 29

第二段階処理の CV 映像三次元地図 車両に積載したカメラと三次元地図を自動比較し 自車両の位置を正確に求めることを目的とするのであれば 人間が見る必要がないことから 映像の大部分を省略することが出来ます CV 映像中の交通に関係する道路標識 道路表示 行き先案内板等を前もって認識して その三次元座標と属性 及び CV 映像中の座標の手がかりとなる特徴部分の三次元座標を記録した CV 映像を三次元地図として利用することができます 第一段階の CV 映像よりもかなりのデータ量が減少するので扱いやすくなります 車両のコンピュータがリアルタイム画像として取り込んだ画像をこの三次元地図と比較し 現在の位置と姿勢を高精度で求めることが出来ます 交通標識等の情報を三次元地図に記録した情報と比較して 確認して車両に伝えて制御することが可能となります また CV 値から道路勾配も前もって把握でき エンジンの負荷を制御することができます 三次元地図はリアルタイムで取り込んだ画像の標識等と位置のみ成らずその属性をも比較して データの自動更新も可能となります この第二段階の三次元地図は更新が自動化されることになり 一度作成するとその後は自動更新でデータを更新して利用できていくことになります 実用性を考慮した三次元地図 弊社では 近未来に最も実用性が高い三次元地図として 前記第一段階処理と前記第二段階処理の合成したものであると考えて現在開発を進めています 即ち コンビュータが利用し 自動更新が可能である三次元地図であり 同時に人間が見ることも考えた三次元地図です 三次元地図の全国道路データベースの潜在需要 近未来を考えるとき 三次元地図の全国道路データベース構築の必要性に迫られています 三次元地図のデータベースがあり 上記自動更新技術と相まって 三次元地図の世界はもうすぐそこまで来ています 弊社は 三次元地図は今後近未来の産業のプラットホームとして各分野で利用され 現在の地図以上に無くては成らない存在になると考えています 三次元地図は従来の地図とは異なり 現実の世界にそのままリンクして現実の世界とシームレスに利用されるようになります 三次元地図は現実世界と完全に対応しているためにこれまでの地図の概念とは異なります そこには新しい概念が生まれ その利用も新らしいものになります その最初の利用が車両との関係で成ることは明らかです 30

近未来のカーエレクトロニクスに於ける三次元地図と ALV の役割 上記三次元地図を車載し ALV とリンクすることで進化した次世代カーナビゲーションによる高度なアシストと情報サービスが可能となり 自動運転まで進化します 当該技術により例えば以下のようなサービスが可能となります 高精度による自車両位置と姿勢の検出と表示 ( 数 cm 精度の位置と姿勢の検出 ) リアルタイムで取り込んだ実写映像を情報の窓口として ALV にリンクします 車内からの予約 情報取得だけではなく 記録し 更新映像として利用できます 対向車両との通信と運転情報の交換 工事中や行き先方向の交通情報を情報通信により対向車から映像を含めて取得します 近隣の複数の車両の位置関係を取得し 近未来を予想します これは事故の回避技術として 利用できます 歩行者ナビとの連動により 目的地まで確実に案内します 目的地までの案内はもちろんですが 途中経路を画像で案内します 信号 標識 地物の自動認識 障害物を自動認識します 自動運転に利用できますが アシスト情報として人間が見落とした交通情報をアシストします リアルタイムに取り込んだ映像から三次元地図の自動更新を行い 他車両にも配信出来ます 三次元地図による自動運転と自律型自動運転との併用により より確実な自動運転につながります 次世代カーナビ表示イメージ 31

車両間通信 次世代カーナビ表示イメージ 次世代カーナビ表示イメージ 32