情報処理学会インタラクション 2016 IPSJ Interaction INT /3/3 1,a) 1,2,b) 1,c) (HMD: Head Mounted Display) A Non-dominant Hand Training System Using Hea

Size: px

Start display at page:

Download "情報処理学会インタラクション 2016 IPSJ Interaction INT /3/3 1,a) 1,2,b) 1,c) (HMD: Head Mounted Display) A Non-dominant Hand Training System Using Hea"

あきみあきくぼ
5 years ago
Views:

1 /3/3 1,a) 1,2,b) 1,c) (HMD: Head Mounted Display) A Non-dominant Hand Training System Using Head Mounted Display Naoto Konishi 1,a) Tsutomu Terada 1,2,b) Masahiko Tsukamoto 1,c) Abstract: In bimanual tasks, one hand is usually the main executor and the other is the supporter. By increasing the frequency of using the non-dominant hand in everyday life, the performance of the dominant hand may become equivalent to that of the non-dominant hand. In this paper, we propose a system that enforces users to use the non-dominant hand by using visual effects of see-through head mounted display (HMD). We consider this is achieved by giving the visual effect of diminishing the dominant hand. Our system mirrors the image that is taken by a head mounted camera and is processed as if there is no dominant hand and thus a user does not know its position. We conducted preliminary experiments to investigate the frequency of using the non-dominant hand in this system. We have found that subjects by using the system to work in the non-dominant hand % 11% 12% 1 Graduate School of Engineering, Kobe University, 1-1 Rokkodai, Nada Kobe, Hyogo , Japan 2 PRESTO, Japan Science and Technology Agency, 7 Gobancho, Chiyoda, Tokyo, , Japan a) konishi524@stu.kobe-u.ac.jp b) tsutomu@eedept.kobe-u.ac.jp c) tuka@kobe-u.ac.jp Information Processing Society of Japan 116

2 /3/3 HMD: Head Mounted Display [2] [3] [4] [5] Roy [6] 2 [7] 2.2 HMD HMD [8] HMD HMD T.Jebara [9] Stochastick HMD HMD [10] HMD [11] HMD (AR:Augmented Reality) HMD HMD [12] 3DCG HMD AR 3DCG HMD HMD HMD 2.3 Information Processing Society of Japan 117

3 /3/3 [13] DJ BGM DJ Microsoft kinect for windows[14] Softkinetic DepthSense325[15] [16] HMD T. Lee[17] Markerless Handey AR web AR 2.4 (DR: Diminished Reality)[18] DR DR DR DR Adobe Photoshop[19] [20] Mirkamali [21] 3DCG [22] ( ) 1 1 () Information Processing Society of Japan 118

/3/3 [23] ( ) Homography HMD 1 2 2 3. 3.1 web HMD HMD web PC HMD HMD 3.1.1 web (color ) color 3 4 1 HMD HMZ-T3W(SONY) EL 2 1280 720 16:9 45 750 3.1.2 web ( 1) 10 2 2 2 ( 3) HMD ( 4) 4 1 3.

4 /3/3 [23] ( ) Homography HMD web HMD HMD web PC HMD HMD web (color ) color HMD HMZ-T3W(SONY) EL : web ( 1) ( 3) HMD ( 4) HMD SONY HMZ-T3W HMZ-T3W 11 web ibuffalo web (BSW20KM11BK) web 2 5 HMD web Information Processing Society of Japan 119

5 /3/3 2 web BSW20KM11BK(iBUFFALO) fps 10cm mm 105mm 50mm 70g HMD Web カメラ PC HMD web PC 6 6 PC Panasonic Let s note(cf-s9) PC Microsoft VisualC Intel OpenCV[24] ( 8) 2 (230mm) (ϕ140 47mm) 5 (26mm 13mm 5mm 0.4g) 23cm (ϕ90 15mm) ( 9) A B 2 2 A 1 Information Processing Society of Japan 120

6 /3/ a b A c d e f g B h i j 4 ( : mg) a b c d e f g h i j ( : mg) a b c d e f g h i j B ( ) () ( ) 3 d A i A i σ 4 5 x y z x i y i z i (i = 1, 2,, n) σ A i = x 2 i + y2 i + z2 i (1) Ā = 1 n σ 2 = 1 n n A i (2) k=1 n (A i Ā)2 (3) k=1 1 3 h i 8 4 d d a h i 3 a h i 7 ( ) Information Processing Society of Japan 121

7 情報処理学会インタラクション /3/3 標準偏差値よりも大きいことが分かる視覚効果ありの場 * ϯϭϭ P ϮϱϬ 差 ϮϬϬ 偏の ϭϱϭ 値サ ϭϭϭ ン ϱϭ セ Ϭ 度速加合利き手で箸を把持し試料を移動させた被験者 a b c d f g についても表 5 より利き手の標準偏差値が非利き手の標準偏差値よりも大きくなっている箸を用いた試料の移動作業において視覚効果を与えられた際に非利き差 ϮϬϬ 偏の ϭϱϭ 値 ϭϭϭ サ ϱϭ ンセ度 Ϭ 速加いては被験者 j のみ利き手である左手の加速度の標準偏差値が大きいこれは被験者 j が視覚効果ありの時最初 2 つ目の途中から箸を利き手から非利き手である右手に持 ৎ PV * ϯϭϭ P ϮϱϬ 手で箸を把持し試料を移動させた被験者 e h i j につの試料のみを利き手である左手を用いて試料を運んだが ϭ ϭϰ ϭθ ϭϯ ϭϲ ϭϭ ϭϰ ϭθ ϭϯ ϭϲ ϭϭ ϭϰ ϭθ ϭϯ ϭϲ ϭϭ ϭϰ ϭθ ϭϯ ϭϲ ϭϭ ϭϰ ϭθ ϭϯ ϭϲ ϭϭ ϭϰ ϭθ ϭϯ ϭϲ ϭϭ ϭϰ ϭθ ϭϯ ϭϲ ϭϭ ϭ ϰ ϭ ϴ ϭ ϭ Ϯ Ϯ Ϯ ϯ ϯ ϰ ϰ ϰ ϱ ϱ ϲ ϲ ϲ ϳ ϳ ϴ ϴ ϴ ϵ ϵ Ϭ Ϭ Ϭ ϭ ϭ Ϯ Ϯ Ϯ ϯ ϯ ϰ ϰ ϭ ϭ ϭ ϭ ϭ ϭ ϭ ϭ ϭ ϭ ϭ ϭ ϰ ϭ 図 10 ϭ ϭ ϭ ϭ ϭ ϭ ϭ ϭ ϭ ϭ ϭ ϭ ϭ ϭ ϭ ϭ ϭ ϭ ϭ ϭ ϭ ϭ ϭ ϭ ϭ ϭ ϭ ϭ ϭ ϭ ϭ ϭ ϭ ϭ ϭ ϭ ϭ ϭ ϰ ϴ Ϯ ϲ Ϭ ϰ ϴ Ϯ ϲ Ϭ ϰ ϴ Ϯ ϲ Ϭ ϰ ϴ Ϯ ϲ Ϭ ϰ ϴ Ϯ ϲ Ϭ ϰ ϴ Ϯ ϲ Ϭ ϰ ϴ Ϯ ϲ Ϭ ϰ ϴ ϭ ϭ Ϯ Ϯ Ϯ ϯ ϯ ϰ ϰ ϰ ϱ ϱ ϲ ϲ ϲ ϳ ϳ ϴ ϴ ϴ ϵ ϵ Ϭ Ϭ Ϭ ϭ ϭ Ϯ Ϯ Ϯ ϯ ϯ ϰ ϰ ϰ ϭ ϭ ϭ ϭ ϭ ϭ ϭ ϭ ϭ ϭ ϭ ϭ ϭ ৎ PV 視覚効果なしの場合で作業 2 を行っている被験者 j の加速度データ上右手下左手ち替えて作業を続けたことが原因であると考えられる初めの一つに時間がかかったため非利き手に持ち替えた * P ϯϭϭ ϮϱϬ その時の被験者 j の両手首に装着した加速度データの偏差差偏の ϮϬϬ 値 ϭϱϭ サ ϭϭϭ ン ϱϭ セ Ϭ 度速加のグラフを図 10 と図 11 に示す視覚効果なしの場合の図 10 では利き手である左手を用いて作業を行ったため加速度のグラフの起伏が激しくなっているしかし図 11 ৎ PV * P ϯϭϭ ϮϱϬ 差偏 ϮϬϬ の値 ϭϱϭ サ ϭϭϭ ン ϱϭ セ Ϭ 度速加の視覚効果ありの場合視覚効果により利き手が使いづらくなり非利き手を使用して作業を再開したそのためグラフの起伏が左手から右手に移ったようになっている本実験では左利きが 2 人いたが 2 人とも各作業において視覚効果ありの場合は非利き手を用いた被験者本人は ϭ Ϭ ϵ ϴ ϳ ϲ ϱ ϰ ϯ Ϯ ϭ Ϭ ϵ ϴ ϳ ϲ ϱ ϰ ϯ Ϯ ϭ Ϭ ϵ ϴ ϳ ϲ ϱ ϰ ϯ Ϯ ϭ Ϭ ϵ ϴ ϳ ϲ ϱ ϰ ϭ Ϯ ϯ Ϯ ϭϰ ϲϯ ϴϯ ϰϭ Ϯϱ ϲϰ ϲϳ ϴϴ ϵϭ ϯϭ ϱϭ ϭϳ ϵϯ ϭϯ ϰϯ ϱϱ ϳϲ ϳϵ ϭθ ϯϵ ϵϱ ϴϬ Ϭϭ ϮϮ ϰϯ ϲϰ ϱθ Ϭϲ Ϯϳ ϴϰ ϲθ ϴϵ Ϭϭ ϯϭ ϱ ϭ ϭ ϭ ϭ ϭ Ϯ Ϯ Ϯ Ϯ Ϯ ϯ ϯ ϯ ϯ ϯ ϰ ϰ ϰ ϰ ϱ ϱ ϱ ϱ ϱ ϲ ϲ ϲ ϲ ϲ ϳ ϳ ϳ ϳ ϳ 図 11 ϭ Ϭ ϵ ϴ ϳ ϲ ϱ ϰ ϯ Ϯ ϭ Ϭ ϵ ϴ ϳ ϲ ϱ ϰ ϯ Ϯ ϭ Ϭ ϵ ϴ ϳ ϲ ϱ ϰ ϯ Ϯ ϭ Ϭ ϵ ϴ ϳ ϲ ϱ ϰ ϭ Ϯ ϯ Ϯ ϭϰ ϲϯ ϴϯ ϰϭ Ϯϱ ϲϰ ϲϳ ϴϴ ϵϭ ϯϭ ϱϭ ϭϳ ϵϯ ϭϯ ϰϯ ϱϱ ϳϲ ϳϵ ϭθ ϯϵ ϵϱ ϴϬ Ϭϭ ϮϮ ϰϯ ϲϰ ϱθ Ϭϲ Ϯϳ ϴϰ ϲθ ϴϵ Ϭϭ ϯϭ ϱ ϭ ϭ ϭ ϭ ϭ Ϯ Ϯ Ϯ Ϯ Ϯ ϯ ϯ ϯ ϯ ϯ ϰ ϰ ϰ ϰ ϱ ϱ ϱ ϱ ϱ ϲ ϲ ϲ ϲ ϲ ϳ ϳ ϳ ϳ ϳ 視覚効果ありの場合で作業 2 を行っている被験者 j の加速度データ右手で使う練習をした経験があり被験者 i に視覚効果あ ৎ PV 上右手下左手りの作業において非利き手を用いた理由を聞くと非利き手である左手を用いて箸を使う練習をした経験があるため領域抽出の画像処理により利き手に同じ色の手袋とアー非利き手である左手で作業を行ったと答えたしたがっムカバーを装着することでユーザにリアルタイムで利き手て非利き手で作業を行う練習を行った経験がある人は視を見えなくなる視覚効果を与え非利き手の使用頻度を促覚効果により利き手周りが見えない場合非利き手を用いすシステムを提案し筆記作業および箸を用いた試料の移る可能性が高いと考えられるしかし普段は利き手のみ動作業における非利き手の使用頻度の増加について議論ししか使用しないと答えたためシステムを用いることで非た利き手が不可視になることで利き手の作業のしやすさ利き手の使用を促すことができたと言える以上より筆が非利き手の場合よりも下がるため非利き手の使用頻度記作業においては被験者の非利き手の使用頻度は非利き手が増加すると考えられるを用いて作業を行っているためシステム未使用時と比較今後の課題としてユーザが手に何も装着しないようにすると増加していると言えるしかし視覚効果を与えた深度センサを用いた利き手認識システムを実装を行うこときの作業 2 においては 10 人中 4 人しか非利き手を用いと視覚効果におけるユーザの危険性や不快感を最小限になかったこの原因として被験者の感想から手袋ではするために隠消現実感のシステムアップをすることビデ滑るために物を持ちにくい手袋を着けると箸で試料をオシースルーにおけるリアルタイムの映像表示の遅延をで挟む感覚がわかりづらい手袋のサイズが合わないなきるだけ少なくすること非利き手の使用頻度を加速度セどの手袋に関する問題点が挙げられた今後の課題としてンサから取得するためにセンサの取り付け位置を考慮す手に何も装着せずに利き手や腕を判別するアルゴリズムをることユーザに立体感や距離感を掴みやすくするために実装する必要があるまた実時間と映像のズレによる動 HMD に web カメラを 2 つ搭載するなどユーザの視覚効作のしづらさや映像内の物体との距離感が掴めないなどの果に以外における不快感を少なくすることなどが挙げられ問題点もありこちらについても今後の課題として改善する本稿ではまた利き手を見えなくする以外の視覚効果る必要があるさらに被験者によっては視覚効果に慣れたや視覚以外のフィードバックでシステムを提案し非利ら利き手でも作業が可能かもしれないという意見もあるのき手の使用頻度が増加するかを比較実験を行うで長期的な実験を行う必要性もある 4. まとめ本論文ではカメラを搭載した没入型 HMD を用いて色 Information Processing Society of Japan 謝辞本研究の一部は科学技術振興機構戦略的創造研究推進事業 (さきがけ) および科学技術振興機構研究成果展開事業スーパークラスタプログラムによるものであるここに記して謝意を表す 122

8 /3/3 [1] - -, fact/ratio_lefty.html. [2] :,, pp (Sep. 1991). [3],,,, :,, Vol. 46, No. 2, pp (Apr. 1997). [4],, :,, Vol. 38, No. 4, pp (Apr. 2005). [5] :,, [6] E. A. Roy, and D. Elliott: Manual Asymmetries in Aimed Movements, The Quarterly Journal of Experimental Psychology, Vol. 41, No. 3, pp (July 1988). [7] A. Lenhard, and J. Hoffmann: Constant Error in Aiming Movements without Visual Feedback is Higher in the Preferred Hand, Laterality, Vol. 12, No. 3, pp (June 2006). [8], virtual-parachute/. [9] T.Jebara, C.Eyster, J.Weaver, T.Starner, and A.Pentland: Stochastics: Augmenting the Billiards Experience with Probabilistic Vision and Wearable Computers, Proc. of ISWC 1997, pp (Oct. 1997). [10],, : : HMD,, Vol. 7, No. 2, pp (June 2002). [11] : HMD, 160, pp. 1 2 (Dec. 2014). [12], :, (Mar. 2014). [13],,, : DJ, 2008-MUS-78, pp (July 2008). [14] Microsoft, kinectforwindows/. [15] SoftKinetic, [16],, :, DICOMO 2014, pp (July 2014). [17] T. Lee, and T. Hollerer: Handy AR: Markerless Inspection of Augmented Reality Objects Using Fingertip Tracking, Proc. of ISWC 2007, pp (Oct. 2007). [18],,,, : (2) - -,, Vol. 113, No. 402, pp (Jan. 2014). [19] Adobe Photoshop, [20]. Mirkamali, and P. Nagabhushan: Object Removal by Depth-wise Image Inpainting, Sign,, :,, Vol. 8, No. 3, pp (Aug. 2009). [21] S. Sal, Image and Video Processing, pp (July 2014). [22],,, :,, Vol. 66, No. 12, pp (Nov. 2012). [23], :,, Vol. 17, No. 3, pp (Sep. 2012). [24] OpenCV, Information Processing Society of Japan 123

IPSJ SIG Technical Report Vol.2012-HCI-149 No /7/20 1 1,2 1 (HMD: Head Mounted Display) HMD HMD,,,, An Information Presentation Method for Weara

IPSJ SIG Technical Report Vol.2012-HCI-149 No /7/20 1 1,2 1 (HMD: Head Mounted Display) HMD HMD,,,, An Information Presentation Method for Weara 1 1,2 1 (: Head Mounted Display),,,, An Information Presentation Method for Wearable Displays Considering Surrounding Conditions in Wearable Computing Environments Masayuki Nakao 1 Tsutomu Terada 1,2 Masahiko