K-006 位 置 情 報 付 き 俯 瞰 画 像 を 用 いたモバイルカメラの 位 置 と 方 位 の 推 定 A Mobile Camera Localization by Using an Overhead-View Image with Positional Information 鳥 屋 剛 毅 北 原 格 大 田 友 一 Hisatoshi Toriya Itaru Kitahara Yuichi Ohta 1. はじめに GPS(Global Positioning System)を 搭 載 した 携 帯 電 話 や モバイルカメラの 普 及 を 背 景 として,GPS や 電 子 コンパス で 獲 得 されるユーザの 位 置 方 位 情 報 を 用 いた 街 角 案 内 シ ステムが 実 用 化 されている. 一 般 的 な GPS の 位 置 情 報 には, 数 メートル 程 度 の 誤 差 が 含 まれ [1], 都 市 部 などの 複 雑 に 入 り 組 んだ 道 や,GPS 衛 星 の 電 波 がマルチパスを 起 こすビ ル 群 などでは,さらに 誤 差 が 増 え,その 結 果 誤 った 情 報 指 示 がなされてしまう 問 題 が 知 られている. 方 位 情 報 に 関 し ては, 自 動 車 に 搭 載 された GPS では 時 系 列 測 位 により 進 行 方 向 を 推 定 しているが,モバイル 端 末 に 搭 載 された GPS で は,ユーザは 立 ち 止 まったり,ゆっくり 歩 いたりするため, 時 系 列 観 測 による 方 位 推 定 が 困 難 である. 電 子 コンパスの 使 用 も 考 えられるが, 電 子 コンパスの 方 位 情 報 には 0~5 度 ほどの 誤 差 が 含 まれ [2], 環 境 によっては 周 囲 の 電 子 機 器 などで 発 生 した 磁 場 により 誤 差 が 生 じる. 一 方 で, 近 年,Google Earth [3]を 代 表 として, 人 工 衛 星 や 航 空 機 から 地 上 を 撮 影 した 俯 瞰 画 像 の 入 手 が 容 易 になり つつある. 地 理 情 報 システム(GIS: Geographic Information System)の 俯 瞰 画 像 データは, 各 画 素 に 位 置 情 報 を 含 んで いる.そのような 位 置 情 報 を 持 った 俯 瞰 画 像 とモバイルカ メラ 画 像 中 の 画 素 とを 対 応 付 けることができれば,より 正 確 にモバイルカメラの 位 置 方 位 を 求 めることが 可 能 とな り, 図 1 に 示 すような, 自 己 位 置 方 位 の 提 示 システムな どへの 応 用 が 期 待 できる. 本 論 文 では, 位 置 情 報 付 き 俯 瞰 画 像 とモバイルカメラで 撮 影 した 画 像 を 対 応 点 探 索 することにより,モバイルカメ ラの 位 置 方 位 を 画 像 ベースで 推 定 する 手 法 を 提 案 する. 2. 関 連 研 究 モバイルカメラの 位 置 姿 勢 を 推 定 する 手 法 は,センサ ベースの 方 法 と 画 像 ベースの 方 法 に 大 きく 分 けられる. 前 者 の 例 としては GPS や 電 子 コンパスなどを 利 用 する 手 法 が 考 えられるが, 一 般 的 に 用 いられる GPS は 測 位 誤 差 が 大 きく [1], 電 子 コンパスも 誤 差 を 含 むので [2], 高 精 度 な 推 定 が 困 難 である. 後 者 の 例 としては,ARToolKit [4]な どのようにマーカを 用 いる 手 法 がある.この 手 法 は, 精 度 の 良 い 推 定 が 可 能 であるという 利 点 があるが, 画 像 中 に 常 にマーカが 写 っている 必 要 があることや,マーカ 設 置 によ り 撮 影 空 間 の 景 観 が 損 なわれるといった 問 題 が 知 られてい る. 環 境 カメラ 設 置 台 数 の 増 加 を 背 景 に, 環 境 カメラを 併 用 したモバイルカメラの 位 置 姿 勢 を 推 定 する 研 究 が 行 われて いる. 水 流 ら [5]は, 屋 内 環 境 においてモバイルカメラとステ レオカメラ( 環 境 カメラ)を 併 用 し,モバイルカメラの 位 図 1: 目 標 とする 位 置 と 方 位 の 提 示 システム 置 姿 勢 の 推 定 を 実 現 している.また, 野 田 ら [6]は 車 載 カメラと, 上 空 から 航 空 機 などで 真 下 を 撮 影 した 俯 瞰 画 像 を 併 用 し, 自 動 車 の 位 置 推 定 を 行 う 手 法 を 提 案 している. 車 載 カメラによって 撮 影 した 画 像 から 手 動 で 道 路 領 域 を 抽 出 し, 仮 想 的 に 上 空 から 見 た 俯 瞰 視 点 へと 変 換 し, 空 撮 画 像 と 対 応 点 探 索 をすることによって 求 まるホモグラフィ 行 列 より 自 車 位 置 の 推 定 を 行 っている. 本 研 究 では, 環 境 カメラの 画 像 として, 高 所 より 真 下 を 撮 影 した 俯 瞰 画 像 に 注 目 した. 近 年,Google 社 の 提 供 する Google Earth [3]や 国 土 地 理 院 の 提 供 する GIS の 空 中 写 真 閲 覧 サービスなど, 俯 瞰 画 像 の 入 手 が 容 易 になりつつある. 俯 瞰 画 像 は, 上 空 から 撮 影 するため, 撮 影 回 数 が 少 なくて も 広 範 囲 の 情 報 を 得 られるという 利 点 を 有 する. 本 研 究 で は,これらの 俯 瞰 画 像 と 人 間 が 持 ち 運 びできる,コンパク トデジタルカメラ 画 像 の 対 応 点 探 索 を 行 うことにより,モ バイルカメラの 位 置 方 位 を 正 確 に 推 定 する 手 法 を 提 案 す る. 筑 波 大 学 大 学 院 システム 情 報 工 学 研 究 科 541
φ φ モバイルカメラ 画 像 仮 想 俯 瞰 画 像 図 2: 仮 想 俯 瞰 画 像 生 成 の 例 図 4:z 軸 方 向 から 見 たモバイルカメラと 地 面 領 域 図 3:x 軸 方 向 から 見 たモバイルカメラと 地 面 領 域 3. 俯 瞰 画 像 を 用 いたモバイルカメラの 位 置 と 方 位 の 推 定 手 法 ユーザは,モバイルカメラを 用 いて 目 の 前 の 風 景 を 撮 影 する.カメラの 内 部 パラメータと 撮 影 時 のチルト 角 に 基 づ いて, 撮 影 した 画 像 を 俯 瞰 視 点 に 射 影 変 換 し, 仮 想 俯 瞰 画 像 を 生 成 する. 仮 想 俯 瞰 画 像 と 高 所 から 実 際 に 撮 影 した 俯 瞰 画 像 において SIFT [7]を 用 いた 対 応 点 探 索 処 理 を 行 った 結 果 から, 両 画 像 間 のホモグラフィ 行 列 を 算 出 する.その ホモグラフィ 行 列 を 用 いて,モバイルカメラの 位 置 と 方 位 を 推 定 する. モバイルカメラ 画 像 と 俯 瞰 画 像 間 の 対 応 点 探 索 を 行 う 際, 画 像 中 での 回 転 にロバストであるという SIFT の 特 長 を 活 かし, 本 手 法 では,モバイルカメラからの 見 え 方 を 俯 瞰 視 点 からの 見 え 方 に 変 換 して 対 応 点 探 索 を 行 う. 野 田 ら [6]の 研 究 で 用 いられている 車 載 ステレオカメラ とは 異 なり, 手 持 ちのモバイルカメラは 位 置 姿 勢 が 不 安 定 であり, 必 ずしも 位 置 方 位 推 定 の 処 理 に 適 した 写 真 が 得 られるとは 限 らない.そこで, 本 手 法 では,ユーザに 簡 単 な 撮 影 補 助 を 依 頼 することにより, 処 理 精 度 を 向 上 させ る. 具 体 的 には, 画 面 を 上 下 に 二 分 割 する 線 を 引 き,この 線 よりも 上 に 地 平 線 が 水 平 に 写 るよう 撮 影 をしてもらうこ とにより, モバイルカメラの 光 軸 が 地 面 と 交 わる モバイルカメラのロール 角 は 無 視 できる 程 度 に 小 さい という 仮 定 を 満 たす 画 像 の 獲 得 が 可 能 となる.これらの 仮 定 に 基 づき, 次 節 で 述 べる 手 法 により, 仮 想 俯 瞰 画 像 を 安 定 して 生 成 することが 可 能 になる. 4. 仮 想 俯 瞰 画 像 生 成 手 法 モバイルカメラ 画 像 から, 図 2 に 示 す 仮 想 俯 瞰 画 像 を 生 成 する 手 法 について 述 べる. 図 3 はユーザが 撮 影 している 様 子 を 真 横 から 見 た 図 であり, 図 4 は 真 上 からの 図 である. 撮 影 前 にあらかじめ 計 測 しておく 必 要 があるものは, 図 3 図 5:カメラ 画 像 における 地 面 領 域 4 点 の 変 換 先 に 示 す 垂 直 画 角 と, 図 4 に 示 す 水 平 画 角 である. 撮 影 の 度 に 計 測 する 必 要 があるのは, 図 3 に 示 すチルト 角 であり, 垂 直 画 角 と 水 平 画 角 はカメラパラメータ から,チルト 角 は 重 力 センサなどを 用 いれば 取 得 が 可 能 である.モバイルカメラ 画 像 を 仮 想 俯 瞰 画 像 へ 射 影 変 換 す るホモグラフィ 行 列 を 求 めるためには, 変 換 前 の 画 像 と 変 換 後 の 画 像 間 において, 最 低 4 点 の 対 応 が 必 要 である [8]. 本 手 法 では,その 対 応 点 の 座 標 を, 上 述 した 定 数, と, 変 数 から 算 出 する. 図 3 に 示 すように, をとると, となり,また, 図 4 に 示 すように, をとれば (1) (2) (3) 542
図 6:SIFT による 対 応 点 探 索 の 例 図 6:SIFT による 対 応 点 探 索 の 例 図 8: 仮 想 俯 瞰 画 像 におけるモバイルカメラの 推 定 位 置 図 7:H 2 で 射 影 変 換 された 入 力 画 像 と, 参 照 画 像 と 表 せる. 入 力 画 像 と 出 力 画 像 のサイズがそれぞれ, であるとする. 図 5 は, の 地 面 領 域 ABCD が においてどう 変 換 されるかを 表 したものである. 図 3 の が となるように 変 換 されていることがわかる. 辺 A D, B C の 中 点 をそれぞれ, とすると, (4) 5.1. 対 応 点 探 索 の 手 法 対 応 点 探 索 には,SIFT を 用 いる.SIFT は 画 像 中 から 特 徴 点 を 検 出 し,それらの 各 特 徴 点 の 特 徴 量 を 記 述 するアル ゴリズムである [9].SIFT によって 記 述 された 特 徴 量 は, 回 転, 照 明 変 動,スケール 変 化 にロバストであるという 特 長 を 有 する.モバイルカメラ 画 像 を 仮 想 俯 瞰 画 像 に 変 換 す ることにより, 回 転 とスケールだけが 異 なる 画 像 間 での 対 応 点 探 索 処 理 となるため,SIFT の 特 性 が 効 果 的 に 活 用 され る. が 成 り 立 つので, つまり (5) (6) (7) 5.2. 対 応 点 情 報 を 用 いたホモグラフィ 行 列 の 推 定 SIFT による 対 応 点 探 索 によって 得 られた 対 応 点 の 情 報 か ら,RANSAC [10]を 用 いたロバスト 推 定 を 行 い, 仮 想 俯 瞰 画 像 を 俯 瞰 画 像 に 射 影 変 換 するホモグラフィ 行 列 を 算 出 する. 図 6 では, 左 が 入 力 画 像 で 右 が 参 照 画 像 であり, SIFT によって 得 られた 対 応 点 を 線 で 繋 いである. 明 らかな 誤 対 応 が 数 点 存 在 するが,ロバスト 推 定 によりそれらを 除 去 した 結 果, 図 7 に 示 すように, 適 切 な を 求 めることが できる. (8) (9) となる.これらの 式 から 求 まる 4 点 の 変 換 後 の 座 標 から, ホモグラフィ 行 列 を 算 出 し,それを 用 いてモバイルカメ ラ 画 像 を 仮 想 俯 瞰 画 像 に 変 換 する. 5. 仮 想 俯 瞰 画 像 と 俯 瞰 画 像 間 の 対 応 点 探 索 本 節 では, 仮 想 俯 瞰 画 像 と 俯 瞰 画 像 との 対 応 点 探 索 手 法 と,その 結 果 を 用 いて 仮 想 俯 瞰 画 像 を 俯 瞰 画 像 に 射 影 変 換 するホモグラフィ 行 列 を 推 定 する 手 法 について 述 べる. 6. 位 置 と 方 位 の 推 定 4 節 と 5 節 で,モバイルカメラ 画 像 を 仮 想 俯 瞰 画 像 に 射 影 変 換 するホモグラフィ 行 列 と, 仮 想 俯 瞰 画 像 を 俯 瞰 画 像 に 射 影 変 換 するホモグラフィ 行 列 を 算 出 する 手 法 を 述 べた.これら 2 つの 行 列 の 積 (10) は,モバイルカメラ 画 像 を 俯 瞰 画 像 へ 射 影 変 換 するホモグ ラフィ 行 列 となる. 本 節 では,これらのホモグラフィ 行 列 を 用 いて,モバイルカメラの 位 置 方 位 を 推 定 する 手 法 を 述 べる. 543
図 9:モバイルカメラ 画 像 におけるモバイルカメラの 推 定 方 位 図 11: 実 験 場 所 の 俯 瞰 画 像 ( 解 像 度 は 25[cm/pixel]) 図 10:モバイルカメラの 推 定 位 置 と 方 位 6.1. モバイルカメラの 位 置 推 定 手 法 図 8 に 示 すように, 仮 想 俯 瞰 画 像 におけるモバイルカメ ラの 位 置 pは, 二 つの 斜 辺 の 交 点 として 推 定 される. 具 体 的 には,pの 座 標 を 同 次 行 列 で とすれば,これを で 変 換 した p ( ) (11) p ( ) p (12) は, 俯 瞰 画 像 におけるモバイルカメラの 推 定 位 置 の 座 標 と なる. 仮 想 俯 瞰 画 像 の 各 画 素 には, 位 置 情 報 が 対 応 付 けら れているため,この 処 理 によって, 座 標 p の 画 素 に 対 応 す る 位 置 情 報 より,モバイルカメラの 位 置 を 獲 得 することが できる. 6.2. モバイルカメラの 方 位 推 定 手 法 図 9 に,モバイルカメラ 画 像 の 画 像 中 心 をマークした 図 を 示 す. 撮 影 技 法 (フレーミング)によっては, 必 ずしも ユーザの 撮 影 したい 対 象 が 画 像 の 中 心 に 写 っているとは 限 図 12: 実 験 に 用 いた 俯 瞰 画 像 と 撮 影 地 点 方 向 画 像 番 号 らないが, 本 研 究 で 言 うカメラの 方 位 とは, 画 像 中 心 の 方 向 であるとする.モバイルカメラ 画 像 の 画 像 中 心 の 座 標 を p ( ) (13) とすれば, 式 (10)の を 用 いて 射 影 変 換 し p ( ) p (14) を 求 めることで, 俯 瞰 画 像 における 画 像 中 心 の 座 標 p を 求 めることができる. 図 10 は 俯 瞰 画 像 にモバイルカメラと 画 像 中 心 の 推 定 位 置 をプロットしたものである.p からp への 方 向 が 推 定 方 位 である. 7. 実 験 2012 年 1 月 18 日 午 前 7 時, 筑 波 大 学 第 三 エリアの 工 学 系 F 棟 周 辺 で 位 置 と 方 位 の 推 定 実 験 を 行 った. 撮 影 には 電 子 コンパス 搭 載 のモバイルカメラである,SONY Cybershot DSC-HX7V を 使 用 した. 入 力 のモバイルカメラ 画 像 の 画 素 数 は VGA( )のものを 用 いた. 544
図 13: 位 置 推 定 の 誤 差 のグラフ(ユークリッド 距 離 ) 図 14: 方 位 推 定 の 誤 差 のグラフ 7.1. 実 験 で 使 用 する 位 置 情 報 付 き 俯 瞰 画 像 位 置 情 報 付 き 俯 瞰 画 像 としては 図 11 に 示 すような,GIS より 入 手 できる 俯 瞰 画 像 [11]などが 考 えられるが, 現 在 一 般 に 入 手 可 能 な 俯 瞰 画 像 は 空 間 解 像 度 が 10~40[cm/pixel] 程 度 であり, 対 応 点 探 索 を 行 うには 解 像 度 が 低 いといった 問 題 があるため,この 実 験 では 図 12 に 示 すような,2011 年 12 月 11 日 午 後 4 時 に 工 学 系 F 棟 の 12 階 ( 地 上 約 42[m]) よりほぼ 真 下 を 見 下 ろした 画 像 を 俯 瞰 画 像 として 用 いるこ と と す る. 測 量 を 行 っ た 結 果, 空 間 解 像 度 は お よ そ 4.2[cm/pixel]であった. 7.2. 位 置 と 方 位 の 推 定 実 験 図 12 に 撮 影 位 置 と 撮 影 方 位,その 方 位 で 取 られた 画 像 の 番 号 を 示 す.4 節 の 図 5 で 定 義 したモバイルカメラのチ ルト 角 は 10 度 にし, 各 地 点 の 各 方 向 を 撮 影 した. 7.3. 結 果 と 考 察 7.3.1. 位 置 の 推 定 結 果 図 13 に, 撮 影 位 置 と 推 定 位 置 の 誤 差 をユークリッド 距 離 で 表 現 したグラフを 示 す. 撮 影 位 置 によってバーと 領 域 を 色 分 けした. 背 景 が 濃 い 灰 色 の 部 分 は, 対 応 点 の 探 索 に 失 敗 し 値 が 出 せなかったことを 示 している.また,GPS を 用 いた 位 置 推 定 との 比 較 のために 一 般 的 な GPS を 用 いた 場 合 の 平 均 誤 差 [1]である 7.5[m]に 線 が 引 いてある. 7.3.2. 方 位 の 推 定 結 果 図 14 に,モバイルカメラ 画 像 と 俯 瞰 画 像 から 手 動 で 求 めた 方 位 の 真 値 と, 提 案 手 法 で 求 めた 方 位 との 誤 差,それ に 加 え 電 子 コンパスで 計 測 した 方 位 との 誤 差 をグラフにし たものを 示 す. 真 値 と 提 案 手 法 で 求 めた 値 との 誤 差 を 各 画 像 番 号 の 左 側 に 赤 緑 青 灰 色 のバーで, 電 子 コンパス で 計 測 した 値 との 誤 差 を 右 側 に 白 色 のグラフで 示 す. 図 13 と 同 様, 撮 影 位 置 によって 色 分 けをしてある.また, 背 景 が 濃 い 灰 色 の 部 分 は,4 ペア 以 上 の 対 応 点 が 見 つからない ため, 方 位 推 定 に 失 敗 した 画 像 であることを 示 している. 7.3.3. 考 察 図 13 と 図 14 のグラフより, 画 像 によって 推 定 誤 差 にバ ラツキがあることがわかる. 誤 差 の 比 較 的 大 きい 画 像 を 観 察 すると, 写 っている 地 面 領 域 が, 図 15 のように, 車 道 など, 単 一 色 で 特 徴 の 少 ない 模 様 である 図 16 のように,バイクや 看 板 など, 地 面 領 域 のオ クルージョンがある 545
図 15: 特 徴 の 少 ない 地 面 領 域 の 例 図 16:オクルージョンと 経 時 変 化 の ある 地 面 領 域 の 例 図 17: 特 徴 が 多 く, 推 定 のしやすい 地 面 領 域 の 例 図 16 のように, 植 物 など, 経 時 変 化 のある 地 面 で ある といった 特 徴 が 確 認 された. 反 対 に 精 度 の 良 かった 画 像 に は, 図 17 のように, 模 様 のある 地 面 やマンホールなどが 写 り 込 んでいるといった 特 徴 が 見 受 けられた.これらから, SIFT による 特 徴 量 記 述 が 容 易 な 地 面 が 写 っているか 否 かが, 推 定 精 度 に 影 響 することが 考 えられる. 図 13 に 示 す 位 置 推 定 の 結 果 において,2 番 や 17 番 のよ うに 大 きな 誤 差 が 発 生 した 画 像 もあるが, 黒 線 で 示 した 一 般 的 な GPS 測 位 の 誤 差 7.5[m]と 比 較 すると,おおむね 有 効 性 が 確 認 できる. 図 14 に 示 す 方 位 推 定 の 結 果 において,1 番 や 7 番,24 番 のように,SIFT を 用 いた 対 応 探 索 がうまくいった 場 合 には 高 精 度 の 推 定 ができているが, 誤 った 対 応 探 索 結 果 により, 60 度 以 上 の 誤 差 が 出 てしまったものや, 方 位 推 定 に 失 敗 し てしまったものも 多 く, 方 位 推 定 に 関 しては 電 子 コンパス と 比 較 して 有 効 性 を 見 出 すことが 難 しかった. 8. おわりに 本 論 文 では,モバイルカメラで 撮 影 した 画 像 から, 仮 想 的 に 視 点 を 俯 瞰 視 点 へと 変 換 した 仮 想 俯 瞰 画 像 を 生 成 する 手 法 と,その 仮 想 俯 瞰 画 像 と, 高 所 から 地 面 を 鉛 直 に 撮 影 した 俯 瞰 画 像 との 間 で SIFT を 用 いた 対 応 点 探 索 を 行 うこ とにより,モバイルカメラの 位 置 方 位 を 推 定 する 手 法 に ついて 述 べた. 実 験 を 通 じ, 提 案 手 法 の 有 効 性 を 確 認 した. 今 後 の 課 題 としては,ユーザ 介 入 の 必 要 な 撮 影 条 件 の 緩 和 やチルト 角 測 定 の 自 動 化, 方 位 推 定 の 高 精 度 化, 解 像 度 の 低 い 空 撮 画 像 での 実 装 などが 挙 げられる. Conferencing System," In Proc. of the 2nd International Workshop on Augmented Reality (IWAR), 1999. [5] 水 流 弘 達, 北 原 格, 大 田 友 一, 環 境 に 設 置 したステレ オカメラを 用 いたモバイルカメラの 位 置 姿 勢 推 定 法, 電 子 情 報 通 信 学 会 技 術 研 究 報 告, vol. 111, no. 235, MVE2011-34, pp. 17-22, 2011. [6] 野 田 雅 文, 高 橋 友 和, 出 口 大 輔, 井 手 一 郎, 村 瀬 洋, 小 島 祥 子, 内 藤 貴 志, 空 撮 画 像 と 時 系 列 車 載 カメラ 画 像 との 照 合 による 自 車 位 置 推 定, 電 子 情 報 通 信 学 会 技 術 報 告, PRMU, パターン 認 識 メディア 理 解 Vol.109 (No.306), pp177-182, 2009. [7] D. G. Lowe, "Distinctive Image Features from Scale- Invariant Keypoints," International Journal of Computer Vision (IJCV), pp91-110, 2004. [8] R. Hertley and A. Zisserman, Multiple View Geometry in computer vision, 2nd Edition, Cambridge University Press, pp.32-36, 2003. [9] 藤 吉 弘 亘, 一 般 物 体 認 識 のための 局 所 特 徴 量 (SIFT と HOG), PCSJ/IMPS ナイトセッション, 2008. [10] M. A. Fisher and R. C. Bolles, "Random sample consensus:a paradigm for model fitting with applications to image analysis and automated cartography," Comm.of the ACM, Vol.24, pp.381-395, 1981. [11] 電 子 国 土 ポータル, 電 子 国 土 事 務 局, [オンライ ン]. Available: http://portal2.cyberjapan.jp/site/mapuse/index.html. [アク セス 日 : 15 3 2012]. 参 考 文 献 [1] 安 田 明 生, GPS 技 術 の 展 望, 電 子 情 報 通 信 学 会 論 文 誌 B, Vol.J84-B No.12, pp.2082-2091, 2001. [2] 大 友 功 一, 谷 口 哲 司, 岸 本 正, 大 山 毅, 自 律 走 行 トラ クタに 関 する 研 究 - 電 子 コンパスによる 方 位 の 計 測 -, 帯 広 畜 産 大 学 研 究 報 告 21, pp15-21, 1999. [3] GoogleEarth, Google, [オンライン]. Available: http://www.google.co.jp/intl/ja/earth/index.html. [アクセ ス 日 : 15 3 2012]. [4] H. Kato and B. Mark, "Marker Tracking and HMD Calibration for a Video-based Augmented Reality 546