愛知工業大学研究報告第 47 号平成 24 年 259 走行位置に依存しない背景差分による走行路上の障害物検出 Detection of the Obstacle on the Road by Background Subtraction Independent of Run Position 石川

Size: px

Start display at page:

Download "愛知工業大学研究報告第 47 号平成 24 年 259 走行位置に依存しない背景差分による走行路上の障害物検出 Detection of the Obstacle on the Road by Background Subtraction Independent of Run Position 石川"

かつかげかみいしづ
5 years ago
Views:

1 愛知工業大学研究報告第 47 号平成 24 年 259 走行位置に依存しない背景差分による走行路上の障害物検出 Detection of the Obstacle on the Road by Background Subtraction Independent of Run Position 石川英人, 矢野良和, 山田諄 Hideto Ishikawa,Yoshikazu Yano,Jun Yamada Abstract: An aged society is approaching in Japan. Electric-powered mobile scooter becomes widely used for the supports of livelihood and locomotion of aged. For support of the driving of the mobile scooter users, Obstacles on the road or pedestrians should be detected to avoid collision accidents. This paper shows the road map generation for detection of the obstacles. Birds-eye view images are generated from input images with perspective transformation. The perspective transformation matrix is varied according to the photography scene. Which is estimated with four pairs of points which show the corresponding pixels on the birds-eye view images and input images. We propose the decision method of a coordinate position of four points. First, the straight line of edges and the vanishing point are estimated then, Four points are picked up on radial lines from the vanishing point. Four points of the next frame are estimated according to the movement of a camera. The new perspective transformation matrix is provided using the estimation point. Road map is generated with concatenated birds-eye view images. Road map used the detection of the obstacle. 1 はじめに近年, 高齢化が加速しており, 全人口に対する 65 歳以上の高齢者の人口比率が増え続けている.2013 年には人口の 1/4 を, また 2037 年には 1/3 を高齢者が占めることが予想されており [1], 高齢者の介助支援などの需要が注目されている. また, 要介助高齢者の数を減らす試みも進められ高齢者の行動促進のために電動車いすが普及してきた. 電動車いすは高齢者の行動を促進させる一方で, 交通事故の危険を高める. 判断速度や認知能力が低下した上, 適切な危険回避行動が取れないことから, 転倒や道路外への転落などにより死亡する事故が発生している. 製品評価技術基盤機構による報告では, 事故件数における死亡事故および重傷事故の割合はそれぞれ 30%,24% と非常に高い割合を占めている. これら事故を未然に防ぐために, 運転サポートを目的とし, 走行路上の障害物や歩行者の検出を行う. 本研究では走行路上の物体を検出するために, 背景差分による障害物の検出を行う. 背景差分は現在の画像と事前に取得しておいた画像の差分により, 事前に取得した画像に存在しない物体を検出する方法である. このとき, 事前に取得しておいた画像を背景画像と呼ぶ. 背景差分により障害物を検出するためには, 今いる位置の障害物以外は違いのない背景画像が必要である. しかし, 差分を行う 2 枚の画像の撮影位置が愛知工業大学大学院工学研究科電気電子工学科専攻 ( 豊田市 ) 愛知工業大学電気学科電子情報工学専攻 ( 豊田市 ) 異なると, 様々な物体の位置関係が同じにならず背景差分に不具合が生じる. 背景画像と現在の画像を撮影するとき, 同じ走行路上であっても同じ位置, 同じ方向での撮影は現実的に難しい. そこで, 走行位置に依存しない背景生成法の提案を行う. 久徳ら [2] は過去の走行で得られた走行動画像において, 現在の映像に対応するフレームを検出し, それぞれの対応点を用いた画像変換により背景映像を推定する. この手法では過去の走行情報を動画像で保持する必要がある. また参照にも膨大な検索が必要となる. 膨大な記憶容量や計算処理能力を必要とするため, 電動車いすへの応用は困難である. そこで, 我々はデータ保持量が少なくなる鳥瞰図による地図に基づく背景生成法を提案する. 鳥瞰図は取得画像から得ることができる. 本稿での鳥瞰図は走行路面を上空からみた図のことである. この鳥瞰図を現在の画像の走行路面と位置が合うように変換することで背景画像を得ることが可能である. 鳥瞰図の特徴として距離の離れた場所であるほど少ない画素を引き延ばした映像となる. そのため, 引き延ばした映像の部分を背景画像として使用できないことから鳥瞰図の手前で走行路地図の作成が望まれる. 我々は取得が容易な走行路画像から鳥瞰図を生成し, それらを接続することで走行路の実写地図の生成を試みる. 撮影点が変化することで, 重複のある鳥瞰図を得ることが可能である. これらを連結することで高精

2 260 愛知工業大学研究報告, 第 47 号, 平成 24 年,Vol.47,Mar,2012 細な走行路地図を構築する. 重複ある画像を連結する手法としてモザイキング手法 [3] [4] が挙げられる. これらは画像中の対応点を探索し, 対応点どおしが重なるように移動することで画像を連結させる. 特徴点決定の処理から, 対応する画像どおし同程度の分解能であることが望ましい. これに対し, 鳥瞰図では手前ほど解像度が高く, 距離が離れた場所であるほど少ない画素を引き延ばした映像となっている. 同一の場所と見なせるものであっても画像データとしての変化が現れる. また, 走行路画像中の立体物については射影変換により道路面に展開するため, 取得位置が変化することで同一物体が道路面の平面座標上の同一位置に出現しない場合がある. そのため, 走行路画像から生成される鳥瞰図に対し, これらの手法の単純な適用は困難である. そこで, 本研究では走行中に得られる画像を用いた高精細な地図を生成する手法を提案する. また, 提案手法により作成した地図の有効性を検証するため, 実験により電動車いすの前を横切る歩行者の検出を行う. 図 1: 取得画像 2 提案手法図 2: 鳥瞰図 2.1 鳥瞰図の生成カメラから得られる画像をもとに鳥瞰図を作成する. 鳥瞰図はカメラで撮影した画像に対し, 透視変換をすることで作成する. 本稿では, カメラ画像と鳥瞰図との対応点を 4 点組み用意する. 対応点となるそれぞれの点は道路の縁となる直線上で与えた.4 組みの対応点の座標情報により透視変換行列を求める. 式 (1) から式 (3) により鳥瞰図の生成を行う.(X, Y ) および (X, Y ) は, それぞれ変換前, 変換後の対応点の座標である.W は遠近感を表す変数である. 図 1 に示すカメラから得られた取得画像から, 鳥瞰図を作成すると図 2 が得られる. (1) 2.2 透視変換行列の決定方法カメラから得られる画像は撮影シーンごとに異なるため, 鳥瞰図の生成に必要な変換行列も異なる. そこで, 透視変換行列を決定する取得画像上の 4 点の座標位置を, 消失点から放射状の直線上から決定する.4 点を決定するため, 道路を構成する直線の検出と消失点の推定を行う. 取得画像より道路を構成する直線の検出を行う. 取得画像中の直線は人工物から得ることができる. また, 物体と物体, あるいは物体と背景の境目にあるため, 輝度の急激な変化があるところに存在する. そこで, 取 (2) 得画像から輪郭抽出を行う. 輪郭抽出はエッジ検出とも呼ばれる. 得られた輪郭をエッジと呼ぶ. 得られたエッジに対して Hough 変換により直線を検出する. 図 (3) 1 を入力画像とし, エッジを検出すると図 3 となる. 図 1 で輝度の変化が急なところをエッジとして検出した. 図 3 では道路のエッジ以外に木の枝によるエッジが多く抽出される. 消失点は人工物によるエッジにより得られると考えられるため, 木の枝によるエッジは悪影響を与える不要なエッジである. 図 3 に対して直線検出を行うと, 図 4 の赤色線が線分として得られる. 図 4 のように直線とはみなせない部分に対しても, エッジ

3 走行位置に依存しない背景差分による走行路上の障害物検出 261 図 3: エッジ画像図 6: エッジの除去図 4: 直線検出図 7: 除去後の直線 (a) 除去する場合 (b) 除去しない場合図 5: エッジ除去法線を連結させることで直線として検出してしまう. 人工物でない場合は複雑な形状となるためエッジも密なものが得られる. そこで, このような直線検出に悪影響を及ぼすエッジの除去を行う. 得られたエッジを中心として一定の範囲内のエッジの数がしきい値以上なら中心としたエッジを除去する. 図 5 の (a) はエッジを除去する例であり, 図 5 の (b) はエッジを除去しない例である. 図 3 からエッジの除去を行うと図 6 となる. 図 6 から直線を検出すると図 7 となる. 検出したのは線分であるため, 線分から延長線を引いたものを図 8 に示す. 得られた直線から消失点の推定を行う. 消失点は風景や真っ直ぐな道路の白線が遠方になるほど小さくなり, やがて点に収束する点のことである. 風景に含まれる直線部分を延長すると, 多くの直線がある 1 点を図 8: 得られる直線通過する. 得られた直線の交点から消失点の推定を行う. 図 8 の直線から図 9 のような交点が得られる. 消失点は収束する点であることから交点が集まる付近にあると考える. そこで, 交点が最も集まるところから消失点を推定する. 得られた各交点を中心として一定範囲内の交点の数が最大の時に中心とした交点を消失点とする. 得られた直線と推定した消失点から, 透視変換行列を求める 4 点を決定する. 図 10 のように消失点から放射状の道路を構成する直線上から 4 点を決定する. 2.3 鳥瞰図合成による地図作成決定した 4 点が次フレームでどこに移動するのかを推定する. 推定点の座標を用いて, 次フレームの鳥瞰図変換に使う行列を求める. 本研究では電動車いすにカメラを搭載するため, カメラが移動する. そこで, カメラの移動量を用いて 4 点の移動を推定する. カメラ

262 愛知工業大学研究報告, 第 47 号, 平成 24 年,Vol.47,Mar,2012 図 9: 得られる交点 (a) 過去のフレームの 4 点図 10: 決定した 4 点 (b) 過去のフレームから移動した 4 点図 11: 次フレームの 4 点の推定座標系と画像座標系の関係からカメラモデルの内部パラメータ行列により, カメラの移動量から画像平面での移動を求める.

4 262 愛知工業大学研究報告, 第 47 号, 平成 24 年,Vol.47,Mar,2012 図 9: 得られる交点 (a) 過去のフレームの 4 点図 10: 決定した 4 点 (b) 過去のフレームから移動した 4 点図 11: 次フレームの 4 点の推定座標系と画像座標系の関係からカメラモデルの内部パラメータ行列により, カメラの移動量から画像平面での移動を求める. 以下に本研究で用いたカメラモデルの内部パラメータ行列式を示す. (4) 図 12: 鳥瞰図の対応点式 (4) を用いてカメラの移動量から画像平面の動きを求める.Xc, c, c はカメラ座標,u, は画像座標でY Zv ある.u0, 0 は画像平面とカメラ光軸の交点である.γv は画像平面の u 軸と v 軸の傾きの係数と焦点距離 f の積である.αu, v は焦点距離と画素サイズの積である.α 本研究では画像平面での移動量を与えて次フレームでの 4 点の座標位置を決定した. カメラの移動量により次フレームでの 4 点の座標位置を推定すると図 11 のようにフレーム f1 の 4 点がフレーム f2 の 4 点のように移動する. 得られた推定点をもとに透視変換行列の生成に用する. フレーム f2 はフレーム f1 から少し直進した画像である. カメラの移動により各フレームの鳥瞰図が得られるとともに 4 点の移動を推定したことによりフレーム間で対応する点の組みも得られた. 図 12 のように鳥瞰図での対応点どうしが重なりあうように合成を行う. 情報量の多い車両前方部分を活用した地図になるようにフレーム f2 をフレーム f1 に重ねあわせて合成を行い, 地図を作成する. 2.4 障害物の検出背景差分により障害物を検出するには走行位置に依存しない背景画像を生成する必要がある. そこで, 作成した地図画像から背景画像を生成する. 生成した背景画像と現在の画像に差異のある部分を障害物として検出する.CANNY アルゴリズム [5] を用いてエッジを抽出し, 差分を求める. 残っているエッジを障害物として検出する. エッジの差分では 1 画素でもずれが生じると障害物として検出されてしまう. そこで, 地図画像を変換した画像から抽出されたエッジの周辺画素に現在の取得画像のエッジが存在する場合, 障害物でないとする.

走行位置に依存しない背景差分による走行路上の障害物検出 263 図 13: 与えた 4 点 3 3.1 実験結果地図作成実験提案手法により地図の作成と障害物の検出実験を行った. 自動車にカメラを搭載し, カメラが振動しないように固定してハンドルを切らずに時速約 20km/h で直進して撮影を行った. 解像度 320 180pixels, フレームレート 30fps である.

5 走行位置に依存しない背景差分による走行路上の障害物検出 263 図 13: 与えた 4 点実験結果地図作成実験提案手法により地図の作成と障害物の検出実験を行った. 自動車にカメラを搭載し, カメラが振動しないように固定してハンドルを切らずに時速約 20km/h で直進して撮影を行った. 解像度 pixels, フレームレート 30fps である. 取得した動画から連続した 295 フレームを入力画像とし, 鳥瞰図の合成による走行路地図作成の実験を行った. 入力画像の 1 フレーム目に消失点から放射状の直線上の 4 点を与えた. また, カメラの移動量を直進の場合のみ与えた.1 フレーム目に与えた 4 点を図 13, 入力画像を図 14 に示す. 入力画像の各フレームにおいて消失点の推定と道路を構成する直線を検出し, カメラの移動量により次フレームでの推定した 4 点を用いて鳥瞰図を生成すると図 15 となる. 生成した各フレームの鳥瞰図を合成すると図 16 の地図画像となる. 図 17 は 1 フレームの鳥瞰図である. 図 17 の遠方は引き伸ばされ, ぼやけた画像となり, 精度が悪い. 一方, 図 16 では鳥瞰図を合成することにより, 図 17 でぼやけた遠方でも高精度な画像が得られた. 以降の地図画像は図 16 の一部を拡大したものになる. 3.2 障害物検出実験作成した地図 ( 図 16) を用いて提案手法により障害物の検出を行う. 図 18 に障害物を含む入力画像を示す. ここでは障害物として, 車両前を通過する歩行者を検出させる. 地図を作成した入力画像では走行路にある矢印の右側を走行した. 障害物を含む画像は走行路にある矢印の左側を走行した. 自動車にカメラを搭載し, カメラが振動しないように固定してハンドルを切らずに時速約 20km/h で直進して撮影を行った. 解像度 pixels, フレームレート 30fps である. 取得した動画から障害物を含む連続した 62 フレームを検証画像とし, 鳥瞰図を生成して障害物の検出を行った. 検出する障害物は走行路内を対象とする. 障害物は 1 図 16: 地図画像図 17: 1 フレームの鳥瞰図フレーム内に最大 3 存在した.62 フレーム中, 障害物の合計は 151 である. 図 16 の走行路が図 18 の走行路と重なり合うように変換すると図 19 となる. 検出結果を表 1, 検出の一例を図 20 に示す. 検出率は障害物の合計から検出できた数であり, 検出数 / 障害物の合計と

6 264 愛知工業大学研究報告, 第 47 号, 平成 24 年,Vol.47,Mar,2012 (a)1 フレーム目 (b)42 フレーム目 (c)84 フレーム目 (d)126 フレーム目 (e)168 フレーム目 (f)210 フレーム目 (g)252 フレーム目 (h)295 フレーム目図 14: 入力画像 (a)1 フレーム目 (b)42 フレーム目 (c)84 フレーム目 (d)126 フレーム目 (e)168 フレーム目 (f)210 フレーム目 (g)252 フレーム目 (h)295 フレーム目図 15: 入力画像から得られた鳥瞰図する. 表 1 から, 画像中に含まれる障害物に対して検出率 93.4% を実現できた. 障害物として図 20 の A,B,C を検出できている. 一方, 図 20 の D の走行路の矢印が検出されている. 奥の矢印は障害物として検出されていないが, 手前の矢印は障害物として検出されている. 図 18 と図 19 のエッジ画像を重ねたものを図 21 に示す. 白画素が地図のエッジと入力画像のエッジが重なり合った画素である. 赤画素が地図のエッジを表す画素である. 青画素が入力画像のエッジを表す画素である. 図 21 をみると走行路の矢印の位置がずれていることがわかる. これは, 地図画像を取得画像にもどしたときに, 走行路が引き伸ばされたことにより矢印の位置がずれたと考える. また, 図 20 の E,F のように走行路の遠方に障害物がないにも関わらず障害物として検出されている. 地図画像の走行路の遠方が正確に得られておらず, 引き伸ばされており, ぼやけて画像となっている. これが取得画像に戻した時に圧縮されてエッジが得られなかったと考える. また, 地図画像は走行路の画像だけであるが, 障害物を含んだ画像では走行路の先に段差があったためだと考える. 検出できなかった例の入力画像を図 22, 差分の結果を図 23 に示す. 図 22 の G を障害物

走行位置に依存しない背景差分による走行路上の障害物検出 265 図 18: 障害物ありの取得画像図 21: 差分の検証図 19: 地図画像を取得画像に変換図 22: 検出できなかった入力画像フレーム数表 1: 検出結果障害物の合計検出数検出率 (%) 62 151 141 93.4 図 23: 検出できなかった差分結果図 20: 検出結果の一例として検出できていない.

7 走行位置に依存しない背景差分による走行路上の障害物検出 265 図 18: 障害物ありの取得画像図 21: 差分の検証図 19: 地図画像を取得画像に変換図 22: 検出できなかった入力画像フレーム数表 1: 検出結果障害物の合計検出数検出率 (%) 図 23: 検出できなかった差分結果図 20: 検出結果の一例として検出できていない. 図 22 からエッジを抽出した結果 ( 図 24) では障害物のエッジを抽出できている. これをみると G のエッジを抽出できている. 背景差分を行ったときに背景画像 ( 地図画像 ) の白線のエッジと図 22 の G の部分のエッジが差分を取ったことにより, 障害物として検出できなかったと考える. 地図を作成した時に用いた画像 ( 図 14) と検証用の画像 ( 図 18) では走行位置が異なる. 地図画像を使用することで走行位置によらず, 背景差分により障害物を検出できた. 図 24: 図 22 のエッジ検出結果 4 まとめ本稿では取得画像より得られる鳥瞰図をもとに俯瞰的な走行路地図の作成を行った. 取得画像から鳥瞰図を生成するための透視変換行列を求めるための 4 点の座標位置を決定する手法を提案した. 取得画像から道路を構成する直線の検出と消失点の推定を行った. 得

8 266 愛知工業大学研究報告, 第 47 号, 平成 24 年,Vol.47,Mar,2012 られた消失点から放射状の直線上から 4 点を決定した. 決定した 4 点が次フレームでどこに移動するのかをカメラの移動量を用いて推定を行った. 推定した点を次の行列の生成に利用する座標とした. 各フレームから得られる鳥瞰図を重ねあわせて合成して走行路地図を作成した. 得られた地図を用いて障害物の検出を行った. 地図作成時とは異なる走行位置でも利用できる差分で障害物の検出を行った. 実験により取得画像から俯瞰的な走行路地図を作成した. 得られた地図を用いて走行位置によらず, 障害物を検出できることを示した. 今後の課題として, 地図の作成においてカーブの地図作成を行う. カーブでのカメラの移動量を与えることで解決できると考える. また, 障害物の検出では天候の変化による影響を考える必要がある. 使用したデータは曇天時に取得ものであるため, 照明条件の変動やそれに伴う影の発生が考えられるためである. 参考文献 [1] 国立社会保障人口問題研究所, 日本の将来推計人口 ( 平成 18 年 12 月推計 ), 2007 [2] 久徳遙矢, 出口大輔, 高橋友和, 目加田慶人, 井手一郎, 村瀬洋, 過去の車載カメラ映像との差分による道路上の不特定障害物検出, 第 13 回画像の認識理解シンポジウム (MIRU2010) 論文集, pp , 2010 [3] 森明慧, 内田誠一, Multi-histogram 法による画像のモザイキング, MIRU, pp , 2005 [4] 植西一馬, 岩切宗利, 山本紘太郎, 空撮画像モザイキングのための動きベクトル推定法, 情報処理学会第 70 回全国大会講演論文集, pp , 2008 [5] John Canny, A Computational Approach to Edge Detection, IEEE Trans. Pattern Analysis and Machine Intelligence, Vol.8, No.6, pp , Nov.1986 ( 受理平成 24 年 3 月 19 日 )

IPSJ SIG Technical Report Vol.2015-CVIM-196 No /3/6 1,a) 1,b) 1,c) U,,,, The Camera Position Alignment on a Gimbal Head for Fixed Viewpoint Swi

IPSJ SIG Technical Report Vol.2015-CVIM-196 No /3/6 1,a) 1,b) 1,c) U,,,, The Camera Position Alignment on a Gimbal Head for Fixed Viewpoint Swi 1,a) 1,b) 1,c) U,,,, The Camera Position Alignment on a Gimbal Head for Fixed Viewpoint Swiveling using a Misalignment Model Abstract: When the camera sets on a gimbal head as a fixed-view-point, it is