Spin Image [3] 3D Shape Context [4] Spin Image 2 3D Shape Context Shape Index[5] Local Surface Patch[6] DAI [7], [8] [9], [10] Reference Frame SHO[11]

Size: px

Start display at page:

Download "Spin Image [3] 3D Shape Context [4] Spin Image 2 3D Shape Context Shape Index[5] Local Surface Patch[6] DAI [7], [8] [9], [10] Reference Frame SHO[11]"

ともみまつかた
5 years ago
Views:

1 3-D 1,a) 1 1,b) % Spin Image 51.6% 93.8% 9 PCL Point Cloud Library Correspondence Grouping 13.5% 10 3 Extraction of 3-D Feature Point for Effect in Object Recognition based on Local Shape Distinctiveness Nagase Masanobu 1,a) Akizuki Shuichi 1 Hashimoto Manabu 1,b) Keywords: object recognition, 3-D feature point matching, robot vision, point cloud data, bin-picking Graduate School of Information Science and echnology, Chukyo University, Nagoya, Aichi , Japan a) nagase@isl.sist.chukyo-u.ac.jp b) mana@isl.sist.chukyo-u.ac.jp 3 [1] [2] 3-D c 2013 Information ocessing Society of Japan 1

Spin Image [3] 3D Shape Context [4] Spin Image 2 3D Shape Context Shape Index[5] Local Surface Patch[6] DAI [7], [8] [9], [10] Reference Frame SHO[11] CSHO[12] Reference

2 Spin Image [3] 3D Shape Context [4] Spin Image 2 3D Shape Context Shape Index[5] Local Surface Patch[6] DAI [7], [8] [9], [10] Reference Frame SHO[11] CSHO[12] Reference Frame 1 Reference Frame Fig. 1 1 Distinctive feature points and non-distinctive feature points. c 2013 Information ocessing Society of Japan 2

3. 3.1 2 Fig. 3 3 Method for creating normal distribution histogram. 2 Fig. 2 Flow of the proposed algorithm.

3 (1) Bhattacharyya B U B(P, Q) = 1 Pu Q u (1) u=1 P Q U u B 1 (2) S n S n =

3 Fig. 3 3 Method for creating normal distribution histogram. 2 Fig. 2 Flow of the proposed algorithm n r n m t N n N mt θ θ 3.3 (1) Bhattacharyya B U B(P, Q) = 1 Pu Q u (1) u=1 P Q U u B 1 (2) S n S n = 1 B(p n, q t ) (2) t=1 p q n t S n c 2013 Information ocessing Society of Japan 3

= 1 D(m t ) (4) t=1 c if f(m t (x),m t (y))=0 D(m t ) = (5) m t (z) f(i, j) otherwise R i i 5 Fig.

4 Bhattacharyya 4 m 1 m 2 s 1 s 2 (3) 4 Fig. 4 Geometric consistency of an object model and the range image. ( d s1,s 2 d m1,m 2 < th d ) ( θ s1 θ m1 < th t ) ( θ s2 θ m2 < th t ) (3) d m1,m 2 d s1,s 2 2 θ m1 θ m2 θ s1 θ s2 2 th d th t 2 m 1 5 (4)(5) R i = 1 D(m t ) (4) t=1 c if f(m t (x),m t (y))=0 D(m t ) = (5) m t (z) f(i, j) otherwise R i i 5 Fig. 5 Overview of pose recognition scheme using distinctive feature points extracted from object model. m t (x) m t (y) m t (z) 3 t f D(m t ) c (a) 6(b) 6(c) mm 1 r 5mm 14 2 c 2013 Information ocessing Society of Japan 4

Fig. 8 8 Distribution of the selected distinctive feature points. 6 Fig.

4.2.1 4 (1) Spin Image [3] (2) Point Cloud Libruary[13] Correspondence

5 Fig. 8 8 Distribution of the selected distinctive feature points. 6 Fig. 6 Distinctiveness calculation result. ( ) ( ) 7(a) (b) 0.4mm 5 r 2mm 8(a) (b) (c) 7 Fig. 7 Distinctiveness calculation result by the industrial parts (1) Spin Image [3] (2) Point Cloud Libruary[13] Correspondence Grouping [14] (3) (4) 9 A B C D P r [%] [sec] N [point] N 1% 5% 1.5mm 10(a) (c) (e) (g) 10(b) (d) (f) (h) c 2013 Information ocessing Society of Japan 5

情報処理学会研究報告表 2 各手法による独自性の高い特徴点の抽出結果 able 2 Extraction results of distinctive feature points by each method. 図 9 距離画像データベース Fig. 9 Range image database.

95 55.34 31.21 20.68 33.05 CG 法 74.4 96.2 65.6 84.9 80.3 Spin [13][14] ランダム法曲率法提案手法 45.41 52.85 29.26 26.10 38.41 N 70 50-89.1 96.9 85.2 69.8 85.3 5.87 4.77 2.06 1.74 3.61 N 70 50-86.8 76.9 18.0 54.

8%に向上したことを確認した処理時間に関しては約 9 倍以上の高速化となった Spin Image 法は物体モデル全点を用いて照合しているのに対し提案手法は独自性の高いごく少数の厳選された特徴点のみを照合に用いているモデルを入力シーンに重畳した結果を示す実験は CPU ことがその要因であるまた Spin Image 法は注目点の R Intel CORE 法線ベクトル方向と

6 情報処理学会研究報告表 2 各手法による独自性の高い特徴点の抽出結果 able 2 Extraction results of distinctive feature points by each method. 図 9 距離画像データベース Fig. 9 Range image database. 表 1 物体モデルとダウンサンプリング結果 able 1 Object model and down sampling results 表 3 認識成功率と処理時間 able 3 Recognition success rate and processing time. 物体 A 物体 B 物体 C 物体 D 平均 Image 法 [3] CG 法 Spin [13][14] ランダム法曲率法提案手法 N N N %に向上したことを確認した処理時間に関しては約 9 倍以上の高速化となった Spin Image 法は物体モデル全点を用いて照合しているのに対し提案手法は独自性の高いごく少数の厳選された特徴点のみを照合に用いているモデルを入力シーンに重畳した結果を示す実験は CPU ことがその要因であるまた Spin Image 法は注目点の R Intel CORE 法線ベクトル方向とそれに直交する軸を基準とした 2 次 M i7-3.40ghz システムメモリ 8GB で構成されるシステムでおこなった元空間に物体モデル点の相対的な位置を投票した画像を照従来手法との認識性能比較と考察合に用いる手法であるそのため注目点から遠い点ほど法提案手法は従来の Spin Image 法に対して物体モデ線ベクトルの揺らぎに敏感であり安定した特徴記述がでルの 1%から 5%程度のごく少数の特徴点数で 4 種類のきず認識成功率が低かった提案手法も法線ベクトルを A から D の物体に対する平均認識成功率が 51.6%から使用しているが点群を利用した法線ベクトル同士のなす c 2013 Information ocessing Society of Japan 6

情報処理学会研究報告うな形状部分を保持する特徴点が選択されており入力距離画像との照合の際に誤照合が増加したためである曲率法に関しては曲率の大きな点のみを特徴点として選択しているため入力距離画像中に曲率の大きな点が多く存在する場合に認識成功率が低下したまた曲率法で選択した特徴点は窪んだ曲率部の点も選択しているため入力距離画像中の対象物の姿勢によっては対応点が隠れてしまう

本研究では姿勢パラメータを適用した物体モデルと入力距離画像との誤差を計算し一番小さい誤差の位置姿勢パラメータを認識結果としている図 11 のような平面的な物体の場合では姿勢変換したモデルが 2 つの対象物上に重畳された場合でも位置合わせ誤差が小さくなりそれが原因で認識に失敗したこの問題に対しては認識に用いる特徴点数やパラメータを調整することで改善されると考えられる図

7 情報処理学会研究報告うな形状部分を保持する特徴点が選択されており入力距離画像との照合の際に誤照合が増加したためである曲率法に関しては曲率の大きな点のみを特徴点として選択しているため入力距離画像中に曲率の大きな点が多く存在する場合に認識成功率が低下したまた曲率法で選択した特徴点は窪んだ曲率部の点も選択しているため入力距離画像中の対象物の姿勢によっては対応点が隠れてしまうそのため認識成功率が低かった以上より Spin Image 法 PCL の Correspondence Grouping 法ランダム法曲率法に対して提案手法は平均認識成功率が向上し処理時間に関しても同等以上であることを確認したまた提案手法はどのような形状の対象物に対しても安定した認識成功率を実現していることを確認したなお図 11 に認識に失敗した例を示す本研究では姿勢パラメータを適用した物体モデルと入力距離画像との誤差を計算し一番小さい誤差の位置姿勢パラメータを認識結果としている図 11 のような平面的な物体の場合では姿勢変換したモデルが 2 つの対象物上に重畳された場合でも位置合わせ誤差が小さくなりそれが原因で認識に失敗したこの問題に対しては認識に用いる特徴点数やパラメータを調整することで改善されると考えられる図 10 認識結果例 Fig. 10 Example recognition results. 角度を軸としたヒストグラムで表現しているため法線ベ図 11 認識失敗例 Fig. 11 Recognition failure cases 姿勢推定の精度評価クトルに多少の揺らぎがある場合にも安定した特徴記述本研究では位置姿勢推定後の物体モデルに ICP アルができたまた Spin Image 法は入力距離画像からランゴリズム [15] を適用することにより位置合わせの精度ダムに点を選択して Spin Image を作成し物体モデル全向上を図った図 12 に ICP アルゴリズム適用前と適用後点と照合するランダムに選択した点が物体モデル内の同の物体モデルを示す図 12(a) は微小の位置ずれを起こしじ点と対応していなければ正しく照合することができなているのに対して ICP 適用後の図 12(b) は位置ずれないそのことも認識成功率が低かった理由の一つであるしで位置合わせできていることを確認したまた図 13 に Correspondence Grouping 法の認識成功率が低かった理由 ICP アルゴリズム適用前と適用後の位置合わせ誤差の平としてはモデル点をダウンサンプルした時の点を認識に均を示す実際に実験に用いたレンジセンサの分解能は用いていることが原因であるまた正しい姿勢パラメー約 0.40mm である ICP アルゴリズム適用前の位置合わせタを算出するには半径の大きな Reference Frame を作成す誤差は約 0.82[mm/point] であったのに対し適用後は約る必要がありその処理に時間がかかっているランダム 0.51[mm/point] であったこの結果はレンジセンサの分解法が提案手法より認識成功率が低かった理由としては特能と同等であることから精度よく位置合わせできたこと徴点をランダムに選択しているため物体モデル内で同じよを確認した c 2013 Information ocessing Society of Japan 7

ICP 0.51[mm/point] 0.40mm 12 ICP Fig. 12 Before and after of accurate alignment by the ICP. 13 4 Fig. 13 Average alignment error of four data sets. 5. Spin Image 51.6% 93.

: Using Spin Images for Efficient Object Recognition in Cluttered 3D Scenes, rans. IEEE Pattern Analysis and Machine Intelligence, Vol.21, No.5, pp.433-449 (1999). [4] Frome A., Huber D., Kolluri R.

8 ICP 0.51[mm/point] 0.40mm 12 ICP Fig. 12 Before and after of accurate alignment by the ICP Fig. 13 Average alignment error of four data sets. 5. Spin Image 51.6% 93.8% 9 PCL Correspondence Grouping % [1] , (D-II), Vol.J77- D-II, No.11, pp (1994). [2], (MIRU), IS2-4, pp (2010). [3] Johnson E. A and Hebert M.: Using Spin Images for Efficient Object Recognition in Cluttered 3D Scenes, rans. IEEE Pattern Analysis and Machine Intelligence, Vol.21, No.5, pp (1999). [4] Frome A., Huber D., Kolluri R., Bulow., Malik J.: Recognizing Object in Range Data Using Regional Point Descriptors, European Conference on Computer Vision, Vol.23, pp (2004). [5] Dorai C. and Jain K.A.: COSMOS-A Representation Scheme for 3D Free-form Objects, rans. IEEE Pattern Analysis and Machine Intelligence, Vol.19, No.10, pp (1997). [6] Chen H. and Bhanu B.: 3D Free-form Object Recognition in Range Images Using Local Surface Patches, Pattern Recognition Letters, Vol.28, pp (2007). [7],, (C), Vol.124, No.3, pp (2004). [8],,, : ICP 3, (C), Vol.127, No.4, pp (2007). [9], 3, (D-II), Vol.J80-D-II, No.5, pp (1997). [10] Steder B., Rusu B.R, Konolige K. and Burgard W.: Point Feature Extraction on 3D Range Scans aking into Account Object Boundaries, IEEE International Conference on Robotics and Automation, pp (2011). [11] ombari F., Salti S. and Stefano D.L.: Unique Signatures of Histograms for Local Surface Description, European Conference on Computer Vision, Vol.6313, pp (2010). [12] ombari F., Salti S. and Stefano D.L.: A Combined exture-shape Descriptor for Enhanced 3D Feature Matching, IEEE International Conference on Image ocessing, pp (2011). [13] Rusu B.R. and Cousins S.: 3D is here: Point Cloud Library (PCL), IEEE International Conference on Robotics and Automation, pp.1-4 (2011). [14] ombari F. and Stefano D.L.: Object Recognition in 3D Scenes with Occlusions and Clutter by Hough Voting, IEEE oc. on 4th Pacific-Rim Symposium on Image and Video echnology, pp (2010). [15] Besl J.P. and McKay D.N.: A Method for Registration of 3-D Shapes, Vol14, No.2, pp (1992). c 2013 Information ocessing Society of Japan 8

3 Abstract CAD 3-D ( ) 4 Spin Image Correspondence Grouping 46.1% 17.4% 97.6% ICP [0.6mm/point] 1 CAD [1][2]

3 Abstract CAD 3-D ( ) 4 Spin Image Correspondence Grouping 46.1% 17.4% 97.6% ICP [0.6mm/point] 1 CAD [1][2] 3 E-mail: {akizuki}@isl.sist.chukyo-u.ac.jp Abstract CAD 3-D ( ) 4 Spin Image Correspondence Grouping 46.1% 17.4% 97.6% ICP [0.6mm/point] 1 CAD [1][2] Shape Index [3] [4][5] 3 SHOT [6] [7] Point Pair Feature