2 1 2 1, 3 1 2 1 2 An Evaluation on a Robot Operation Method with Two Handheld Devices Satoshi Kawanabe, 1 Shoji Sa, 2 Tsutomu Terada 1, 3 and Masahiko Tsukamoto 1 Recently, automous and remote-controlled robots have become popular. In the near future, since there will be more robots in our daily lives, we need an interface to control these robots by single control method. Conventional method to control a robot is t intuitive because we cant control them from subjective view. In this paper, we propose a new robot control method that employs two handheld devices on the user s both hands to select and operates a robot. We assume that there are virtually two lines along with the directions of both devices and the pointing position is set to the crossing point of two lines. Using the proposed pointing function and gesture with these devices, we can control robots intuitively and easily. We actually implemented a prototype and evaluated the effectiveness of the proposed method. 1. 1 1 1 1 2 2 3 2 3 2 4 5 6 1 Graduate Scholl of Engineering, Kobe University 2 Graduate Scholl of Science and Techlogy, Kobe University 3 PRESTO, Japan Science and Techlogy Agency 1 c 2011 Information Processing Society of Japan
2. Shepherd 1) Shepherd 1) PC PC 1 3 Cheng Wii 2) 3 3) Grossman 1 3 3 3) 3 3. 2 3.1 2 3 3 ポインティング線ポインティング位置デバイスデバイス 1 3 1 1 3.2 2 3 Grossman 1 3 3) 2 3 1 ( 1) 2 3 2 c 2011 Information Processing Society of Japan
情報処理学会研究報告 a b c d 移動操作 操作対象の決定 操作の終了 図 3 ジェスチャ入力 にカメラがついている場合 そのとき撮影している映像を画として保存する (c) ジェスチャ操作 偵察: 一方のポインティング線でロボットを指しながら フリスビーを投げるよ うに他方のデバイスを動かす ロボットは 特定の範囲を 1 周動く 図 2 提案インタフェース (d) 緊急停止: この場合のみポインティング線をロボットに指さない 両方のデバイ スを上に向けることで ロボットが何らかの制御をされていても ロボットの操 作は停止する 関連付けることで ユーザに操作方法を覚えやすくする 提案手法は 図 2 に示すように 以下の 3 段階に分けられる (1) (3) 操作の決定: 操作したいロボットに対してポインティングし 1.5 秒間維持すると操 互いにに遠ざけることによって ロボットの操作が終了する 作するロボットを決定する (2) 操作の終了: ロボットを操作しているときに 2 つのポインティング線を水平方向に 4. プロトタイプ ロボットの操作: 選択されたロボットは移動操作とジェスチャによって下記のような 図 4 に実装した把持型デバイスとロボットを示す 把持型デバイスは カメラ Wii リモ 操作ができる 移動操作: 移動させたい場所に向かってポインティング位置を移動させることで ロ コン レーザポインタ ハーフミラーから構成される カメラは環境内やロボットに貼り付 けたマーカを検出してデバイスの位置や方向などの姿勢を推定するために用いる Wii リモ ボットはそのポインティング位置を追随するように移動する ジェスチャ操作: 一方のデバイスのポインティング線によって操作対象のロボットを コンは 内臓されている 3 軸加速度センサを用いてジェスチャ認識を行う レーザポインタ 指すことでロボットをさせ 他方のデバイスを動かすことで コマンドを入力 は どこを指しているか把握できるように視覚フィードバックとして用いる ハーフミラー し ロボットに特定の動作をさせる ジェスチャ操作の例を挙げる (図 3) は カメラとレーザポインタの光軸を合わせることで ユーザが指す位置と実際に計算され (a) (b) 回転: 一方のデバイスで円を描くようにポインティング線を反時計周り (時計周 る位置を正確なものにするために用いた 制御するロボットには Mindstorms NXT を用い り) に回転し続けることで 物体の水平方向に対して反時計回り (時計周り) に回 る 操作を行う環境とロボットには正方形マーカを多数配置する このマーカは デバイス 転し続ける ロボットの向いている向きを反転させたい場合には 両方のポイン のカメラがロボットの検出や ロボットととの相対位置を推定するために用いる この相対 ティング線でロボットを指しながら 円描くようにしてデバイスの位置を入れ替 位置を用いて ポインティング線の方向を決定したり マーカの軌跡によるジェスチャを認 えるように動かす 識させる ロボットを動かすためのジェスチャ入力は この他に Wii リモコンの 3 軸加速 撮影: スタンプを押すようにして一方のデバイスをロボットに近づける ロボット 度センサも用いる ロボット操作におけるシステム処理の流れを以下に示す (図 5) 3 c 2011 Information Processing Society of Japan
ハーフミラー 画像情報光源 レーザポインタ 4 カメラ Wii リモコン マーカ Mindstorms どちらかのデバイスがマーカを指す ジェスチャ認識 ロボット選択 ループ 両方のデバイスがマーカを指す 両方のデバイスを上に向ける ( ジェスチャ ) 緊急停止 1. 撮影 2. デバイス情報 3. 操作パラメータ マーカ デバイス PC ロボット 5 ( 1 ) 2 : 2 ( 2 ) : 2 PC ( 3 ) : 2 3 3 2 PC 4.1 3 3 2 3 2 3 2 対応する制御を実 6 両方のデバイスを水平方向に遠ざける ロボットを回転させる量の決定 ロボット回転 ロボット移動 ロボットの移動操作 操作の終了 2 2 20cm 4.2 6 2 2 4 c 2011 Information Processing Society of Japan
y 16 60 x y 原点 ( 0, 0, 0 ) ] c e s [ 間 時均平 14 12 10 8 6 4 A B C D ] c e s [ 間 時均平 50 40 30 20 A B C D 2 E 10 E z 7 x 0 1 2 3 4 5 6 7 回数 0 1 2 3 4 5 6 7 回数 3 5. 5.1 3 7 27 24 z = 0 PC 1.5 3 z 5 1 3 22 25 7 1 3 z PC 1 8 1 9 2 x y Wii 1 z 10cm 8 9 1 15 1 1 1 2 1 2 2 2 2 z 1 1 5 c 2011 Information Processing Society of Japan
4) 5.2 22 25 8 Wii 1 1 3 1 2 6. 1 2 3.62 1.11 1 3.62 0.85 3.67 0.92 2 3.75 0.82 3 3 3 ( ) (A)(20240009) (21013034) 1) Hosoi, K. and Sugimoto, M.: Shepherd: An Interface for Overcoming Reference Frame Transformations in Robot Control, Proc. of IEEE ROBIO2006, pp.908 913 (2006). 2) Guo, C. and Sharlin, E.: Exploring the Use of Tangible User Interfaces for Human- Robot Interaction: A Comparative Study, Proc. of the 27th International Conference on Human Factors in Computing Systems (CHI2008), pp.121 130, (2008). 3) Grossman, T. and Balakrishnan, R.: The Design and Evaluation of Selection Techniques for 3D Volumetric Displays, Proc. of the 19th Annual ACM Symposium on User Interface Software and Techlogy (UIST2006), pp.3 12 (2006). 4),, :, 13, pp.276 279 (2008). 2 6 c 2011 Information Processing Society of Japan