3-D 1,a) 1 1,b) 3 3 3 1% Spin Image 51.6% 93.8% 9 PCL Point Cloud Library Correspondence Grouping 13.5% 10 3 Extraction of 3-D Feature Point for Effect in Object Recognition based on Local Shape Distinctiveness Nagase Masanobu 1,a) Akizuki Shuichi 1 Hashimoto Manabu 1,b) Keywords: object recognition, 3-D feature point matching, robot vision, point cloud data, bin-picking 1. 3 1 Graduate School of Information Science and echnology, Chukyo University, Nagoya, Aichi 466 8666, Japan a) nagase@isl.sist.chukyo-u.ac.jp b) mana@isl.sist.chukyo-u.ac.jp 3 [1] [2] 3-D c 2013 Information ocessing Society of Japan 1
Spin Image [3] 3D Shape Context [4] Spin Image 2 3D Shape Context Shape Index[5] Local Surface Patch[6] DAI [7], [8] [9], [10] Reference Frame SHO[11] CSHO[12] Reference Frame 1 Reference Frame 3 3 3 3 1 2 3 4 5 2. 2 1 2 1 Fig. 1 1 Distinctive feature points and non-distinctive feature points. c 2013 Information ocessing Society of Japan 2
3. 3.1 2 Fig. 3 3 Method for creating normal distribution histogram. 2 Fig. 2 Flow of the proposed algorithm. 3.2 3 n r n m t N n N mt θ θ 3.3 (1) Bhattacharyya B U B(P, Q) = 1 Pu Q u (1) u=1 P Q U u B 1 (2) S n S n = 1 B(p n, q t ) (2) t=1 p q n t S n 0 1 1 3.4 c 2013 Information ocessing Society of Japan 3
Bhattacharyya 4 m 1 m 2 s 1 s 2 (3) 4 Fig. 4 Geometric consistency of an object model and the range image. ( d s1,s 2 d m1,m 2 < th d ) ( θ s1 θ m1 < th t ) ( θ s2 θ m2 < th t ) (3) d m1,m 2 d s1,s 2 2 θ m1 θ m2 θ s1 θ s2 2 th d th t 2 m 1 5 (4)(5) R i = 1 D(m t ) (4) t=1 c if f(m t (x),m t (y))=0 D(m t ) = (5) m t (z) f(i, j) otherwise R i i 5 Fig. 5 Overview of pose recognition scheme using distinctive feature points extracted from object model. m t (x) m t (y) m t (z) 3 t f D(m t ) c 4. 4.1 6(a) 6(b) 6(c) 0 90 2 1mm 1 r 5mm 14 2 c 2013 Information ocessing Society of Japan 4
Fig. 8 8 Distribution of the selected distinctive feature points. 6 Fig. 6 Distinctiveness calculation result. ( ) ( ) 7(a) (b) 0.4mm 5 r 2mm 8(a) (b) (c) 7 Fig. 7 Distinctiveness calculation result by the industrial parts. 4.2 4.2.1 4 (1) Spin Image [3] (2) Point Cloud Libruary[13] Correspondence Grouping [14] (3) (4) 9 A B C D 1 1 2 3 P r [%] [sec] N [point] N 1% 5% 1.5mm 10(a) (c) (e) (g) 10(b) (d) (f) (h) c 2013 Information ocessing Society of Japan 5
情報処理学会研究報告 表 2 各手法による独自性の高い特徴点の抽出結果 able 2 Extraction results of distinctive feature points by each method. 図 9 距離画像データベース Fig. 9 Range image database. 表 1 物体モデルとダウンサンプリング結果 able 1 Object model and down sampling results 表 3 認識成功率と処理時間 able 3 Recognition success rate and processing time. 物体 A 物体 B 物体 C 物体 D 平均 49.6 50.8 35.2 70.6 51.6 Image 法 [3] 24.95 55.34 31.21 20.68 33.05 CG 法 74.4 96.2 65.6 84.9 80.3 Spin [13][14] ランダム法 曲率法 提案手法 45.41 52.85 29.26 26.10 38.41 N 70 50-89.1 96.9 85.2 69.8 85.3 5.87 4.77 2.06 1.74 3.61 N 70 50-86.8 76.9 18.0 54.8 59.1 6.01 4.94 2.21 1.97 3.78 N 70 50-89.1 97.7 94.5 93.7 93.8 5.83 4.76 2.05 1.76 3.60 93.8%に向上したことを確認した 処理時間に関しては約 9 倍以上の高速化となった Spin Image 法は物体モデル全 点を用いて照合しているのに対し 提案手法は独自性の高 い ごく少数の厳選された特徴点のみを照合に用いている モデルを入力シーンに重畳した結果を示す 実験は CPU ことがその要因である また Spin Image 法は注目点の R Intel CORE 法線ベクトル方向と それに直交する軸を基準とした 2 次 M i7-3.40ghz システムメモリ 8GB で 構成されるシステムでおこなった 元空間に物体モデル点の相対的な位置を投票した画像を照 4.2.2 従来手法との認識性能比較と考察 合に用いる手法である そのため注目点から遠い点ほど法 提案手法は 従来の Spin Image 法に対して 物体モデ 線ベクトルの揺らぎに敏感であり 安定した特徴記述がで ルの 1%から 5%程度のごく少数の特徴点数で 4 種類の きず 認識成功率が低かった 提案手法も法線ベクトルを A から D の物体に対する平均認識成功率が 51.6%から 使用しているが 点群を利用した法線ベクトル同士のなす c 2013 Information ocessing Society of Japan 6
情報処理学会研究報告 うな形状部分を保持する特徴点が選択されており 入力距 離画像との照合の際に誤照合が増加したためである 曲率 法に関しては 曲率の大きな点のみを特徴点として選択し ているため 入力距離画像中に曲率の大きな点が多く存在 する場合に認識成功率が低下した また曲率法で選択した 特徴点は窪んだ曲率部の点も選択しているため 入力距離 画像中の対象物の姿勢によっては対応点が隠れてしまう そのため認識成功率が低かった 以 上 よ り Spin Image 法 PCL の Correspondence Grouping 法 ランダム法 曲率法に対して 提案手法 は平均認識成功率が向上し 処理時間に関しても同等以上 であることを確認した また 提案手法はどのような形状 の対象物に対しても安定した認識成功率を実現しているこ とを確認した なお 図 11 に認識に失敗した例を示す 本研究では 姿 勢パラメータを適用した物体モデルと入力距離画像との誤 差を計算し 一番小さい誤差の位置姿勢パラメータを認識 結果としている 図 11 のような平面的な物体の場合では 姿勢変換したモデルが 2 つの対象物上に重畳された場合で も 位置合わせ誤差が小さくなり それが原因で認識に失 敗した この問題に対しては 認識に用いる特徴点数やパ ラメータを調整することで改善されると考えられる 図 10 認識結果例 Fig. 10 Example recognition results. 角度を軸としたヒストグラムで表現しているため 法線ベ 図 11 認識失敗例 Fig. 11 Recognition failure cases. 4.2.3 姿勢推定の精度評価 クトルに多少の揺らぎがある場合にも安定した特徴記述 本研究では 位置姿勢推定後の物体モデルに ICP アル ができた また Spin Image 法は入力距離画像からラン ゴリズム [15] を適用することにより 位置合わせの精度 ダムに点を選択して Spin Image を作成し物体モデル全 向上を図った 図 12 に ICP アルゴリズム適用前と適用後 点と照合する ランダムに選択した点が物体モデル内の同 の物体モデルを示す 図 12(a) は微小の位置ずれを起こし じ点と対応していなければ正しく照合することができな ているのに対して ICP 適用後の図 12(b) は位置ずれな い そのことも認識成功率が低かった理由の一つである しで位置合わせできていることを確認した また図 13 に Correspondence Grouping 法の認識成功率が低かった理由 ICP アルゴリズム適用前と適用後の位置合わせ誤差の平 としては モデル点をダウンサンプルした時の点を認識に 均を示す 実際に実験に用いたレンジセンサの分解能は 用いていることが原因である また 正しい姿勢パラメー 約 0.40mm である ICP アルゴリズム適用前の位置合わせ タを算出するには半径の大きな Reference Frame を作成す 誤差は約 0.82[mm/point] であったのに対し 適用後は約 る必要があり その処理に時間がかかっている ランダム 0.51[mm/point] であった この結果はレンジセンサの分解 法が提案手法より認識成功率が低かった理由としては 特 能と同等であることから 精度よく位置合わせできたこと 徴点をランダムに選択しているため物体モデル内で同じよ を確認した c 2013 Information ocessing Society of Japan 7
ICP 0.51[mm/point] 0.40mm 12 ICP Fig. 12 Before and after of accurate alignment by the ICP. 13 4 Fig. 13 Average alignment error of four data sets. 5. Spin Image 51.6% 93.8% 9 PCL Correspondence Grouping 10 13.5% [1] 2 3 - -, (D-II), Vol.J77- D-II, No.11, pp.2179-2187 (1994). [2], (MIRU), IS2-4, pp.778-785 (2010). [3] Johnson E. A and Hebert M.: Using Spin Images for Efficient Object Recognition in Cluttered 3D Scenes, rans. IEEE Pattern Analysis and Machine Intelligence, Vol.21, No.5, pp.433-449 (1999). [4] Frome A., Huber D., Kolluri R., Bulow., Malik J.: Recognizing Object in Range Data Using Regional Point Descriptors, European Conference on Computer Vision, Vol.23, pp.224-237 (2004). [5] Dorai C. and Jain K.A.: COSMOS-A Representation Scheme for 3D Free-form Objects, rans. IEEE Pattern Analysis and Machine Intelligence, Vol.19, No.10, pp.1115-11 (1997). [6] Chen H. and Bhanu B.: 3D Free-form Object Recognition in Range Images Using Local Surface Patches, Pattern Recognition Letters, Vol.28, pp.1252-1262 (2007). [7],, (C), Vol.124, No.3, pp.637-646 (2004). [8],,, : ICP 3, (C), Vol.127, No.4, pp.615-622 (2007). [9], 3, (D-II), Vol.J80-D-II, No.5, pp.1105-1112 (1997). [10] Steder B., Rusu B.R, Konolige K. and Burgard W.: Point Feature Extraction on 3D Range Scans aking into Account Object Boundaries, IEEE International Conference on Robotics and Automation, pp.2601-2608 (2011). [11] ombari F., Salti S. and Stefano D.L.: Unique Signatures of Histograms for Local Surface Description, European Conference on Computer Vision, Vol.6313, pp.356-369 (2010). [12] ombari F., Salti S. and Stefano D.L.: A Combined exture-shape Descriptor for Enhanced 3D Feature Matching, IEEE International Conference on Image ocessing, pp.809-812 (2011). [13] Rusu B.R. and Cousins S.: 3D is here: Point Cloud Library (PCL), IEEE International Conference on Robotics and Automation, pp.1-4 (2011). [14] ombari F. and Stefano D.L.: Object Recognition in 3D Scenes with Occlusions and Clutter by Hough Voting, IEEE oc. on 4th Pacific-Rim Symposium on Image and Video echnology, pp.349-355 (2010). [15] Besl J.P. and McKay D.N.: A Method for Registration of 3-D Shapes, Vol14, No.2, pp.239-256 (1992). c 2013 Information ocessing Society of Japan 8