人 工 知 能 ロボティックス この 激 流 にどう 乗 るか 人 工 知 能 による 自 動 運 転 技 術 Nvidiaが 開 発 しAudiなどに 提 供 2015 年 4 月 8 日 VentureClef, LLC
自 動 車 運 転 支 援 技 術 CES Nvidia CEOのJen-Hsun Huangは 2015 年 1 月 4 日 ラスベガスで 開 催 されたCESで 自 動 運 転 コンピュー ター Nvidia Drive PX を 発 表 した また 自 動 車 の 運 転 を 支 援 する 技 術 ADAS (Advanced Driver Assistance Systems)を 公 開 ADASはCruise Control Blind Spot Detection Parking Assistanceなどから 構 成 される こ れらはレーダー 超 音 波 カメラを センサーとして 利 用 する
自 動 車 運 転 支 援 技 術 カメラがレーダーを 置 き 換 える これらのセンサーがカメラに 置 き 換 えられている カメラの 性 能 はスマ ホなどのモバイル 技 術 により 著 しく 向 上 解 像 度 ダイナミックレンジ 夜 間 撮 影 性 能 などが 向 上 Smart Cameraがオブジェクト( 歩 行 者 や 道 路 標 識 など)を 認 識 する レーダーがカメラに 置 き 換 えられる ことで 自 動 車 のコストが 低 下 する 更 に カメラを 統 合 することで Auto-Pilot Car ( 自 動 運 転 車 ) への 道 が 開 ける
自 動 車 運 転 支 援 技 術 Software-Define Car 自 動 運 転 技 術 を 提 供 するためには; カメラで 捉 えた 画 像 から 自 動 車 周 辺 のモデル(Environmental Model)を 作 成 自 動 車 が 今 の 状 況 を 理 解 する(Situation Awareness) そこから 走 行 路 を 決 定 (Path Finding) そして 自 動 車 が 自 ら 学 習 する 能 力 (Learning)が 必 要 将 来 の 自 動 車 はスーパーコン ピューターを 搭 載 し ソフトウエアが 走 行 を 制 御 する つまりソフトウエ アが 自 動 車 の 機 能 を 決 定 する Software-Define Car となる
プロセッサー 性 能 これらカメラは 車 載 スーパーコン ピューターに 接 続 される これが Nvidia Drive PX である Drive PXは Tegra X1 を 二 台 搭 載 し 並 列 に また 二 多 重 に 稼 働 する 最 大 性 能 は2.3Tflopsとスー パーコンピューター 並 みの 演 算 能 力 を 持 つ 12 台 のHDカメラ(60Hz)と 接 続 でき 1.3Gpix/ 秒 の 処 理 速 度 を 持 つ Cuda 6.0に 対 応 している Cuda: Compute Unified Device Architecture
イメージ 処 理 Computer Visionは Deep Neural Network と Surround Vision を 取 り 入 れている フロントカメラ(Tight Focal Long Distance Wide View) サイドカメ ラ リアカメラ 車 内 カメラ デジタル ミラーなどがTegra X1ベースの Drive PXに 入 力 される 入 力 イメージはクロスバーで 四 つの モジュールに 振 り 分 けられる ISP はイメージ 処 理 を 司 り White CollectionやColor Balancingなど を 実 施 VPE: Vertex Processing Engines ISP: Image Signal Processor
Deep Neural Network Drive PXはComputer Visionに Deep Neural Network を 採 用 Deep Neural Networkを 自 動 車 に 応 用 すると オブジェクト 認 識 率 が 大 きく 向 上 単 にオブジェクトを 認 識 するだけでなく 置 かれた 状 況 を 理 解 (Situational Awareness)する 今 まではオブジェクトを 認 識 するた めに エンジニアは Feature Detectors を 開 発 してきた Feature Detectorsは 歩 行 者 標 識 自 動 車 など 特 定 オブジェクトを 検 出 るための 専 用 のフィルター
Deep Learning 実 用 化 Situational Awarenessはオブジェ クトだけでなく 多 くのことを 認 識 す る 必 要 がある これを 可 能 にしたの がDeep Learningで Yann LeCun とGeoffrey Hintonが 開 発 Deep Learning 計 算 環 境 を 支 える のが 超 並 列 プロセッサーNvidia GPU 更 に 大 量 の 画 像 や 音 声 データを 教 材 として 使 える 環 境 がで きた 最 後 に 最 新 アルゴリズム Convolutional Neural Network (CNN) がDeep Learningを 実 用 化 へと 導 いた
ImageNetでの 性 能 CNNが 一 躍 注 目 を 集 めたのは 2012 年 に 行 われた 画 像 認 識 に 関 するコンテスト Large Scale Visual Recognition Challenge このコン テストは 120 万 の 画 像 に 何 が 写 っ ているかを 1000のクラスに 分 類 今 までは 従 来 技 術 を 改 良 する 方 法 で 行 われ 一 年 で 精 度 が2% 程 度 向 上 したが Nvidia Cuda GPUで CNN(AlexNet)を 使 うと 精 度 が 74%から84%にジャンプ ちなみに 2014 年 はGoogleが GoogLeNet で 圧 勝 している
Convolutional Neural Network CNNは 多 層 ネットワークで 入 力 イ メージから 特 徴 を 抽 出 し オブジェ クトを 分 類 右 はAudiのイメージをCNNで 解 析 するプロセス 左 側 は 入 力 イメージ から Audiの 低 次 元 の 特 徴 ( 単 純 な 形 状 など)を 抽 出 し 処 理 が 進 むに つれ 高 次 元 の 特 徴 (タイヤなど)を 抽 出 し 自 動 車 全 体 を 把 握 低 次 元 の 特 徴 を 抽 出 することで Audiを 形 成 する 不 変 の 要 素 を 把 握 CNN に 教 育 を 行 うと その 後 は 自 動 でイ メージの 区 分 を 行 うことができる
Convolutional Neural Network このケースではニューロン( 計 算 素 子 写 真 の 丸 の 部 分 )の 数 は6 万 5000(ロブスターの 脳 の 半 分 程 度 ) で パラメーターの 数 は6000 万 このプロセスには 大 規 模 な 演 算 量 が 必 要 となるため NvidiaのGPU が 威 力 を 発 揮 する 市 場 には 様 々なDeep Learning 開 発 フレームワークがあるが Nvidia は 米 カリフォルニア 大 学 バークレー 校 (UC Berkeley)が 開 発 した Caffe をサポートしている 出 典 : UC Berkeley
応 用 事 例 : 歩 行 者 CNNを 自 動 車 に 応 用 すると 単 に オブジェクトを 認 識 するだけでなく 置 かれた 状 況 を 理 解 することがで きる 右 がその 事 例 で 左 側 の 歩 行 者 は 従 来 モデルで 把 握 できる しかし 歩 行 者 が 自 動 車 の 影 に 隠 れ 一 部 しか 見 えない 場 合 は 従 来 モデル では 対 応 できない CNNを 使 うと 頭 部 や 脚 部 を 認 識 し これは 歩 行 者 であると 判 断 する ( 右 側 の 歩 行 者 )
応 用 事 例 : 自 動 車 CNNを 使 うと 自 動 車 でも セダンと スクールバスを 区 別 できる スクールバスを 認 識 すると 特 別 の 対 応 をすることなどが 可 能 となる スクールバスが 停 車 して 赤 色 のラ イトをフラッシュしている 時 は CNN はこの 状 況 を 把 握 し 特 別 な 注 意 が 必 要 であると 認 識 する これは Situational Awarenessの 事 例
応 用 事 例 :バックミラー 右 はバックミラーで 後 続 の 自 動 車 を 検 出 した 状 態 一 般 車 両 を 検 出 した 時 は 特 別 な 対 応 は 必 要 ないが 救 急 車 など 緊 急 自 動 車 を 検 知 した 際 は 警 告 メッ セージを 表 示 する これに 従 って ドライバーは 車 を 路 肩 に 寄 せて 停 車 する CNNはオブジェクトの 検 出 だけでな く そのコンテクストを 理 解 できる
実 例 : 従 来 方 式 Nvidiaは 実 際 にビデオ 撮 影 をしな がら 市 街 地 を 走 行 し その 映 像 を Drive PXで 処 理 した 結 果 を 公 開 Drive PXでCNNを 使 うと どんな 利 点 があるかを 理 解 できる 右 下 は 従 来 方 式 で 横 断 歩 道 の 標 識 を 検 出 したところ Histogram of Oriented Gradients (HOG)という 技 法 で システムに 横 断 歩 道 のダ イヤ 型 のイメージを 大 量 に 入 力 し 教 育 する 遠 くから 標 識 を 認 識 し 高 速 走 行 していても 減 速 する 時 間 が 十 分 ある 従 来 方 式 で 対 応 できる
実 例 : 一 部 が 隠 れている 場 合 右 上 は 歩 行 者 の 一 部 が 隠 れている 場 合 の 事 例 サイクリストの 一 部 が パトカーの 陰 に 隠 れていても 正 しく 検 出 できる 右 下 は 信 号 機 を 検 知 し その 色 ( 赤 青 不 明 など)を 認 識 している 事 例 入 力 イメージはモノクロームで 信 号 機 というクラスを 把 握 次 に 信 号 機 の 種 類 ( 横 長 縦 長 )のクラスを 把 握 し 点 灯 している 色 を 判 定 これは 事 前 にビデオ 撮 影 して この イメージをTegra X1でバッチ 処 理 し たもの
実 例 : 夜 間 ドライブ 右 上 は 英 国 における 夜 間 ドライブ の 様 子 夜 間 ドライブはComputer Visionにとって 難 しい 環 境 街 路 灯 などがあり 判 定 が 難 しいが システ ムはスピードカメラを 検 出 更 に 速 度 標 識 (50)を 認 識 標 識 は50Hz で 点 灯 しており カメラは30Hzでイ メージ 取 り 込 みが 困 難 右 下 の 左 端 に Queue を 認 識 こ れはメッセージボードの 道 路 情 報 で この 先 渋 滞 であることを 示 している 複 数 のクラスを 同 時 に 認 識 している
実 例 : 車 種 クラスまで 検 知 右 はラスベガスの 事 例 で システム は 自 動 車 の 車 種 クラスまで 検 知 す る 右 上 はSUVを 検 知 し 右 下 は TrackやVanを 検 知 している 様 子 従 来 モデルは 車 種 毎 にFeature Detectorsを 開 発 する 必 要 があった CNNはシステムが 自 動 車 を 認 識 し そのサブクラス(TrackやVan)を 教 育 するだけで 分 別 が 圧 倒 的 に 効 率 的 になった この 事 例 では40 時 間 のビデオを 入 力 し 16 時 間 の 教 育 を 行 った
実 例 : 高 速 走 行 している 自 動 車 右 上 は 自 動 車 (Passenger Car)が 高 速 で 追 い 越 したシーン 従 来 方 式 ではフレーム 毎 に 処 理 するため 高 速 で 動 くオブジェクトはイメージが 崩 れ 上 手 く 認 識 できない 一 方 CNNは 特 徴 量 を 掴 むことができ こ のケースでも 対 応 可 能 フロントカメラだけでなくリアカメラで の 映 像 も 解 析 する 右 下 はリアカメ ラでパトカー(Police)を 認 識 した 様 子 警 察 の 指 示 に 従 って 路 肩 に 寄 せて 駐 車 する 必 要 がある
アーキテクチャー GPU 搭 載 システムでCNNを 教 育 す る 具 体 的 には 大 量 のイメージを 読 み 込 み CNNパラメターの 最 適 化 を 行 う その 結 果 教 育 されたCNNが 出 来 上 がる このシステムを 車 載 Drive PX に 搭 載 する 車 載 カメラから 読 み 込 んだイメージをCNNに 入 力 すると イメージ 上 のオブジェクトを 分 類 す る Tegra TX1は(2Mpix x 30 frame/s)は 同 時 に150のオブジェク トを 認 識 できる
アーキテクチャー 認 識 できない Unknown オブジェ クトについては 再 度 GPUシステ ムに 戻 し データサイエンティストが タグ 付 けをして 教 育 する 一 台 の 自 動 車 でCNNがアップデー トされると 更 新 されたCNNは 他 の 自 動 車 にダウンロードされる Connected CarがSuper Mobile Chipを 搭 載 し Deep Learning 技 法 でオブジェクトを 認 識 し 学 習 を 続 ける
Surround Vision Nvidiaは 独 自 で 自 動 運 転 技 術 を 顔 初 している Surround Vision と いうシステムで 複 数 の 車 載 カメラ で 捉 えた 映 像 を 繋 ぎ 合 わせ 周 囲 の 状 況 を 理 解 する Nvidiaは 高 精 度 なシミュレーターを 開 発 し Computer Visionの 試 験 を 実 施 シミュレーター 上 で 複 数 の 車 載 カメラが 捉 えた 映 像 で 自 動 運 転 右 はNvidiaガレージを 再 現 した もので 自 動 車 は 他 車 を 認 識 し 空 きスポットを 見 つけ 駐 車 する
Audi NvidiaはAudiと10 年 にわたり 共 同 開 発 を 続 けている Audiは 自 動 運 転 車 RS7コンセプト カー Bobby をHockenheimレース 場 で 試 験 し 時 速 150マイルで 走 行 することに 成 功 した 自 動 車 には 人 は 登 場 しておらず 自 動 車 は 自 律 走 行 した これは 人 間 のトップドライ バーの 技 術 に 相 当 する A7ベースの 自 動 運 転 車 Jack は シリコンバレーからラスベガスまで 自 動 運 転 で 走 行 するデモを 実 施 右 は 出 発 式 の 様 子 出 典 : Audi
Audi Audi 上 級 副 社 長 のRicky Hudi 氏 は Drive PXを 採 用 する 計 画 を 明 らか にした 既 に 開 発 を 進 めている 画 像 認 識 システムのプラットフォームとし て Drive PX を 使 う これは 超 並 列 システムと 機 械 学 習 を 応 用 したシス テムで Audiの 自 動 運 転 車 が 市 場 に 登 場 するのはそう 遠 くないとして いる 自 動 運 転 技 術 のトップランナーは Googleとの 見 方 は 多 いが Nvidia の 協 力 を 得 た 自 動 車 メーカーが 巻 き 返 す 可 能 性 はある 出 典 : Audi
Thank You! Kaz Miyamoto kaz_miyamoto@ventureclef.com +1 650-224-5464