Vol.15, No.3, 2013 [1], [2] Z OS Mac OS Exposé [3] GUI 3 1(C)

Size: px

Start display at page:

Download "Vol.15, No.3, 2013 [1], [2] 2. 2. 1 1 Z 3 2 2. 2 3 2 OS Mac OS Exposé [3] 3 3 3 GUI 3 1(C)"

きょういちさかいざわ
7 years ago
Views:

1 Vol.15 No.3, Mouse Cursor Operation for Overlapped Windowing and Its Evaluation Shota Yamanaka and Homei Miyashita Abstract When we perform a task that involves operating many windows, we cannot access the objects behind them. As a result, we are frequently forced to switch the foreground window or temporarily forced to move it. Such window manipulations arise because of the difference between the dimensions of the windows and the cursor. In this paper, we propose a technique, in which the cursor is able to go underneath windows using a normal mouse. The results of our user study show that our technique allows users to perform a task faster than they typically operate windows using mouse-only and mouse-keyboard operations. Keywords : Graphical User Interface, Mouse Cursor Operation, Windowing, Pointing Technique 1. Windows OS Mac OS GUI (A) 3 (B) *1 *2 CREST *1 Program in Digital Contents Studies, Programs in Frontier Science and Innovation, Graduate School of Science and Technology, Meiji University *2 JST CREST 1 (A) 2 (B) (C) 90 Fig. 1 Views of overlapping windows from different perspectives. 3 (B) 2 Windows Mac Exposé Windows Alt+Tab Win+Tab Mac Command+F1

cannot access the objects behind them. As a result, we are frequently forced to switch the foreground window or temporarily forced to move it.

2 Vol.15, No.3, 2013 [1], [2] Z OS Mac OS Exposé [3] GUI 3 1(C)

3 (C) 2 2 Fig. 2 A cursor goes down to the lower layer of the window from the edge of the upper layer of the window Fig. 3 A cursor goes up to the upper layer of the window from the edge of the lower layer of the window

the edge of the upper layer of the window. 3 2 3 Fig.

Vol.15, No.3, 2013 2 2 0 3. 3 3 3 1. 2. 3. 4.

4 Vol.15, No.3, (A) (B) (C) 90 Fig. 4 Two folders overlap each other

重なりあったウィンドウ間を移動可能なマウスカーソル操作手法とその評価図6 カーソルが 3 つのウィンドウの奥へ潜りこみデスクトップ上のアイコンを操作する様子 Fig. 6 A cursor goes to the underneath of 3 windows. 図 5 音楽を再生しながらウェブブラウジングする様子 Fig.

5 重なりあったウィンドウ間を移動可能なマウスカーソル操作手法とその評価図6 カーソルが 3 つのウィンドウの奥へ潜りこみデスクトップ上のアイコンを操作する様子 Fig. 6 A cursor goes to the underneath of 3 windows. 図 5 音楽を再生しながらウェブブラウジングする様子 Fig. 5 Web browsing while playing music. が大幅に軽減されさらに意図したウィンドウの配置を崩さない 5. 操作を考える通常は奥のフォルダウをクリッシステム提案手法を実現するためのシステムを Hot Soup クして最前面に出し目的のファイルをプレイヤイ Processor 3.3 以下 HSP 及び Win32API を用いてにドラッグアンドドロップする方法が考えられるプ実装した本システムは Windows7 上で動作し表レイヤが関連付けられていればファイルをダブルク示される全てのウィンドウに対応できる以下ではリックでも可しかしフォルダウをクリックカーソルの挙動表示を制御するモジュールとウィンした時点でブラウザアの一部が隠れてしまうためドウを制御するモジュールに分けて実装方法を述べる操作が完了してからブラウザアをクリックして再 5. 1 度最前面に出すかあるいはウィンドウ同士が重ならマウスイベントの管理ないように位置を調節する必要があり多くの操作が提案手法ではマウスの左右ボタンを両方とも押下し求められる提案手法ではブラウザアの奥に潜っている以下両押しと呼ぶときにカーソルを奥へ移て音楽ファイルをドラッグアンドドロップするだけで動させるこの操作を通常のクリック操作などと共存よく奥のフォルダウを一旦最前面に出す操作もさせるためにマウスフックライブラリ (mousehook.dll) ブラウザアを再度最前面に戻す操作も必要ないを使用するこのライブラリにより左右のボタンダ 4. 3 デスクトップのアイコンを操作する場合カーソル制御部ウンボタンアップをフックしユーザによるボタン図 6 のようにウィンドウが複数起動しているとき押下のイベントをプログラム側で自在に非送出にするにデスクトップのアイコンをダブルクリックしてアプまた特定の座標にマウスイベントを送出するためにリケーションを起動する場合を考える通常は起動中のウィンドウを全て最小化したり移動させたりした Win32API の mouse event 関数を使用する一方のボタンが押下されてから 100 ミリ秒以内に他後にデスクトップで目的のアイコンをダブルクリッ方のボタンが押下されれば左右ボタンが同時に押下クしさらに元の作業に復帰するためにウィンドウのされたと見なしてボタンダウンイベントは送出しない状態を戻さなければならないこれに対し提案手法この場合両押しされているので潜りこむ機能を発動ではデスクトップにカーソルを潜りこませて目的のする一方のボタンが押下されてから 100 ミリ秒経過アイコンをダブルクリックするだけでよい起動中のすればそのボタンダウンイベントをそのまま送出すウィンドウに対する操作は一切必要ないため操作量るこれによりユーザの普段のマウス操作をほとん

3 以下 HSP 及び Win32API を用いてにドラッグアンドドロップする方法が考えられるプ実装した本システムは Windows7 上で動作し表レイヤが関連付けられていればファイルをダブルク示される全てのウィンドウに対応できる以下ではリックでも可しかしフォルダウをクリックカーソルの挙動表示を制御するモジュールとウィンした時点でブラウザア

Vol.15, No.3, 2013 100 100 HSP await 5. 1. 2 OS HSP bgscr Win32API SetWindowLong SetLayered- WindowAttributes 7 Win32API SetWindowPos 5.2.2 Z 7 Fig.

6 Vol.15, No.3, HSP await OS HSP bgscr Win32API SetWindowLong SetLayered- WindowAttributes 7 Win32API SetWindowPos Z 7 Fig. 7 How to create a cursor-window. Z Z SetWindowPos 15% Z Z Win32API FindWindow GetWindowRect GetWindowLong Z Z 0 n k (0 k n) 0 k-1 8 k k+1

WindowAttributes 7 Win32API SetWindowPos 5.2.2 Z 7 Fig.

8 90 2 0 1 Fig. 8 Process of cursor-window going to underneath windows. 9 0 1 1 0 1 Fig.

7 Fig. 8 Process of cursor-window going to underneath windows Fig. 9 Process of cursor-window going to forward. 9 1 k 0 k-1 j (-1 j k j= -1 ) j+1 k-1 SetWindowPos Z [4] k 0 k-1 0 k-1 Z /

8 ヒューマンインタフェース学会論文誌 Vol.15, No.3, 2013 移動する移動方向は左上右下の順に探索しウィンドウが画面外へ出ない方向へ移動する言い換えれば全てのウィンドウを手前から順に調べもしそれよりも手前のウィンドウで同座標同サイズのものがあれば僅かに移動させるという処理であるこのようにして Z オーダの昇順にウィンドウの座標を決定していくことで全てのウィンドウがその 1 つ前後のウィンドウと確実にずれカーソルウィンドウを潜りこませることが可能になる図実験提案手法の有効性を確かめるためにタスクの実行に費やす時間を計測し従来手法と比較する実験を図 10 最大化ウィンドウの縮小機能両押し中は上下左右がわずかに縮小することでカーソルが奥へ潜りこめるようになる Fig. 10 A maximized window(s) becomes slightly smaller when both mouse buttons are pressed. 行った実験で比較したのは提案手法での操作マウス単独操作マウスキーボード併用操作であるマウス単独操作はウィンドウのドラッグやクリックスナップやタスクバー操作など Windows7 においてマウスのみで可能な操作であるマウスキーボード併用操作はマウス操作に加えてキーボードショートカット Alt+Tab による最前面のウィンドウ切り替えや Win+D によるデスクトップ表示などを使用した操作である 6. 1 実験手順異なるフォルダ間でのファイル移動を行うタスクを被験者に与え操作を完了するまでの時間を計測した被験者は情報系の大学学部および大学院に所属し PC 操作に習熟した学生 10 名である操作手法の順序は被験者毎に変更しそれぞれで 5 回ずつタスクを行った 5 回の平均操作時間を各被験者の記録とする実験ではあらゆるマウス操作を認めキーボードでも禁止した操作はないただしマウスキーボード併用図 11 同座標同サイズのウィンドウがある状態両押し中は奥のウィンドウがずれることでカーソルが奥へ潜りこめるようになる Fig. 11 The windows hidden by a front window (same size and same position) move to produce a gap when both buttons are pressed so that the cursor moves to their layers. 操作ではマウス単独操作と実験内容を区別するため必ず 1 回以上のキーボードショートカットを使用するものとした被験者には可能な限り速くタスクを行うように伝えた実験開始時のフォルダの配置を図 12 に移動前後のファイル配置のイメージを図 13 に示すこの配置は手前のウィンドウによって奥の操作対象オブジェクトが覆い隠されており従来手法では操作量が多くこれらの状況にも対応可能にするため両押し中はなる状況に相当するまた実験開始時にカーソルは最大化ウィンドウの上下左右を 50px ずつ縮小する機最前面のウィンドウの中央に置かれるなおファイ能を実装したこれによって奥へ潜りこむための隙間ルを移動する順序は被験者の任意であり実験終了時ができる図 10 また同座標同サイズのウィンドのウィンドウの配置は問わずウィンドウを閉じる操ウに対しては両押しした時点で次のように処理する作も認めたまず 0 番ウィンドウのサイズと位置を決定するつま各操作手法での実験を行う前に実験と同じファイり移動しない次に k 番ウィンドウ (1 k n) のルウィンドウの配置で 15 分間を上限に練習を行わせ座標とサイズを j 番ウィンドウ (0 j k) と比較したこれは実験を開始してからのファイルを移動すもし同座標同サイズであれば k 番ウィンドウを 50px る順序やウィンドウを移動する位置などの試行錯誤を

カーソルウィンドウを潜りこませることが可能になる図 11 6. 実験提案手法の有効性を確かめるためにタスクの実行に費やす時間を計測し従来手法と比較する実験を図 10 最大化ウィンドウの縮小機能両押し中は上下左右がわずかに縮小することでカーソルが奥へ潜りこめるようになる Fig.

9 12 A B C Fig. 12 Initial window layout. Fig Table 1 14 Average times taken to complete the task by the subjects. Questionnaire items and average scores of the answers ( ) Fig. 13 File locations before the task and after the task. 23% PC SONY VPCF11AGJ(2.53GHz, 4GB, ) PC BUFFALO BSMOU05M(1000dpi) PC ( px, 16.4inch) OS Windows7 Pro Windows7 OS C-D 2000dots/inch 1 ON PC 1 hardware/gg aspx % 3 F 2,18 = p <.001 p <

13 File locations before the task and after the task. 23% PC SONY VPCF11AGJ(2.53GHz, 4GB, ) PC BUFFALO BSMOU05M(1000dpi) PC (1920 1080px, 16.

10 ヒューマンインタフェース学会論文誌 Vol.15, No.3, 2013 手法での操作よりも作業を効率化可能であるといえるしかし被験者のうち 1 名はマウスキーボード併用操作が最速でありアンケートでも併用操作が最も操作しやすかったと回答しているその被験者は普段からキーボードをメインに PC 操作をしておりショートカットコマンドの熟達者であるといえる一方でそれ以外の 9 名も普段から PC 操作は行なっておりキーボードショートカットを問題なく使えることを確認しているしたがってキーボード操作に特図 15 に秀でているユーザにとっては提案手法は従来手法を超えるほど操作効率を向上させるものではないとい実験環境でカーソルがデスクトップに潜りこんでファイルをポインティングしている様子 Fig. 15 A cursor behind the three windows. える逆にそれ以外のユーザにとっては普段からキーボードショートカットを使いこなしているとしても提案手法の方が速く作業を行える場面があるといなってしまう問題がある不透明度をユーザがカスタえるキーボードショートカットに慣れていない一般マイズすることである程度は解消できるものの枚数的なユーザではマウスキーボード併用での操作時が極端に多くなった場合には対処できないのが現状で間はさらに増長する可能性もあり提案手法の貢献度あるはより高くなる可能性もあると考える目標のウィンドウへの辿り着きやすさについては平アンケート結果の考察均 4.0 と低くはないもののこれは今回の実験では問表 1 によると両押しによって潜る両押しでない題なく全てのレイヤに移動できるウィンドウの配置でときには手前に移動するという操作はそれぞれ 5 段あったことが理由であると考えられる実際の作業時階中と高いとはいえない評価結果だったにはより複雑なウィンドウの配置も存在するがその両押しは普段は行わない操作でありまた試行時にミような環境での調査も今後は実施したいスをしてしまうこともあって操作しやすいとは感じ提案手法のうち特に好意的に受け入れられたのはられなかったのだと考えられる自由記述によるアン音によるレイヤ移動の分かりやすさであったカーソケートでは初めての操作方法であり慣れなかったとルが奥行き方向へ移動するというユーザにとって馴染する意見と問題なく操作できるようになったとするみのない操作が聴覚的効果によって理解しやすくなっ意見に分かれ両押しによって潜りこむ機能を発動すたものと考えられる同様に潜りこむ機能自体の便ることが最適とはいえない結果となった問題なく操利さについても高い評価が得られたこれは裏を返せ作できたと答えた被験者は右ボタンを押しながらホば従来手法による操作が提案手法と比較してよりイールを前後回転させる操作をウェブブラウザの拡不便に感じられたと理解することもできる張機能で使っているがそれと似ていて案外早く慣実験全体に関する考察れたという感想を口頭で述べたこのように普段か操作時間は多くの被験者が提案手法で最短となったら 2 本の指を同時に使うマウス操作をしていることがが同時にキーボード操作に秀でたユーザにとっては習熟度にも影響すると見られる逆に慣れなかったと大きな打開策ではないこともわかった今回は操作時回答した被験者の中には普段はやらない操作で実間に限定してデータを取得したためマウスキーボー験が終わるまでずっと違和感があったとする者もいド併用操作が最速だった被験者が他の 9 名とは異なるた 10 名中 9 名の被験者が従来手法よりも早くタス特殊な操作をしていたのかあるいは純粋にキータイクを終えることができたものの提案手法によって操プが速かったのかなどの判断はできないが今後はそ作時間が短縮されたという結果と操作方法の良し悪の点を分析する必要もあると考えているしとは別個の問題でありより適切な操作方法を採用すべきであると考えるタスクにおけるウィンドウの初期配置は同サイズのウィンドウを同一方向にずらして配置するとしたウィンドウの裏側でのカーソル操作のしやすさは平がこれは提案手法で解決したい状況として 4 章で例均 3.7 でありこれも高いとはいえない結果になった示した図を単純化したものであるまたタ実験では不透明度を 23%としたが 3 枚のウィンドウスク終了時のウィンドウの状態は不問にするという条の奥にカーソルが潜りこんだときにはカーソルの視認件だったのでウィンドウを閉じたりスナップ機能性が落ちてしまう図 15 ウィンドウの枚数が多で画面の左右に配置したりした被験者がいたがこのくなるにつれてこの影響は大きくなり操作が困難にままではその後の作業に支障をきたすと思われるウィ

キーボードショートカットを問題なく使えることを確認しているしたがってキーボード操作に特図 15 に秀でているユーザにとっては提案手法は従来手法を超えるほど操作効率を向上させるものではないとい実験環境でカーソルがデスクトップに潜りこんでファイルをポインティングしている様子 Fig. 15 A cursor behind the three windows.

重なりあったウィンドウ間を移動可能なマウスカーソル操作手法とその評価ンドウの配置になっていることがあった実際の PC 利用時にはより複雑なウィンドウやアイコンの配置が起こりまた操作終了時にこのウィンドウは開いたままにする必要があるなどという制約が発生することもあるこういったより現実的な状況設定で実験を行う場合には複数のウィンドウが重なりあう条件下

11 重なりあったウィンドウ間を移動可能なマウスカーソル操作手法とその評価ンドウの配置になっていることがあった実際の PC 利用時にはより複雑なウィンドウやアイコンの配置が起こりまた操作終了時にこのウィンドウは開いたままにする必要があるなどという制約が発生することもあるこういったより現実的な状況設定で実験を行う場合には複数のウィンドウが重なりあう条件下でウィンドウやアイコンがランダムに配置されたりファイルの移動を終えたらウィンドウが完全に元の状態になるようにすることなどの条件を課したタスクを設定する必要があると考えられるしかしながら今回の実験条件はファイルエクスプローラを複数起動すると自動的にカスケードするように一定のずれ幅で規則的に開いたフォルダ間でファイルを移動するという現実の作業環境で起こりうる状況をある図 16 アイコンが配置されたレイヤの判別が難しい場面 Fig. 16 It is diﬃcult to detect the layer where the icons are located. 程度取り入れたものであるまたアンケート結果からは従来手法では困難だった操作が可能になることのこれをトリガにして潜りこむ機能を発動させることも効果を実感させられたことやカーソルがレイヤ移動検討したいサイドボタンとはマウスの側面に備わっする際のフィードバックに関する好意的意見を得られているボタンであり主に親指で押しこむユーザがたことから一定の評価ができたと考えている任意の機能を割り当てることができ潜りこむための 7. 議論と今後の課題トリガとしても問題なく操作できると思われるまた現在のシステムではファイルのドラッグ操作と潜り本論文では主にウィンドウ操作に要する手間や時間こむ機能を併用するには左ボタンを押下してドラッについて述べてきたがこれらの他にカーソルが 3 次グを開始し次いで右ボタンを押下して両押しにする元方向に移動することに対する認知的負荷の問題があ必要があり押す手順を認識しなければならないためる認知的負荷とは脳の注意力には限度がありそやや煩雑であるサイドボタンを使用すればドラッれを様々な対象に配分しているとするものである従グやクリック操作とは分離したボタンで潜りこむこと来手法では 2 次元方向にのみ移動していたカーソルをができるためこういった問題も解消することができ 3 次元方向にも移動可能にすることで提案手法ではカーソルやウィンドウの Z オーダを把握しつつ操作しるこれらの改善案の採用はマウスのサイドボタンなければならなくなったつまり提案手法では従来ウィンドウの縮小サイズなどと同様にユーザがカス手法よりも認知的負荷が高いことになる従来手法でタマイズ可能な項目に含めることも可能であるが一般的か否かの議論にもよるが不透明度や最大化あってもポインティング以外の作業をしているとカーカーソルよりも手前のウィンドウを半透明化するシソルを見失ってしまう問題がよく生じるが提案手法ステムデザインは第項のおわりに述べたようにではさらに奥行き方向の位置まで把握しなければならウィンドウの概形を把握可能にするためだが奥にあないこの認知的負荷を下げるためにウィンドウとるカーソルの視認性問題に加えオブジェクトが配置カーソルの位置するレイヤを提示するビューワを用いされているレイヤを把握しづらい問題があるこれはる解決策もあるが意識を向けなければならない対象文献 [5] でも述べられているがウィンドウとそれにが増えることになり屋上屋を架すことになるであろ含まれるファイルアイコンなどのオブジェクトを画一うしたがってデスクトップのアイコンをダブルク的に半透明化すると図 16 のように手前から何番目リックしたらすぐに手前に戻すといった奥のレイヤのウィンドウにどのアイコンが配置されているか一見への一時的なアクセスに用いユーザ自身が利用場面判別しづらいゆえに目的のオブジェクトに辿り着きを適切に選ぶようになるのが望ましいがそのようなにくくなり提案手法の操作性を下げる懸念がある習熟は可能なのか長期運用を通して調査したい半透明化ではなくウィンドウの外周線のみの表示に潜りこむ機能をマウスボタンの両押しによって発動し手前のウィンドウの概形を把握可能にしつつ奥のさせる設計にしたのは広く使用されているマウスで視認性を向上させる解決策も考えられるまたカー利用できかつ従来の操作と競合しないようなトリガソルより手前にあるウィンドウの枚数に対する適切なを設定するためであっただが近年サイドボタンを備不透明度が求められれば現状の半透明化であってもえたマウスも広く用いられるようになったことから問題なく操作できる可能性があるためこれについて

16 アイコンが配置されたレイヤの判別が難しい場面 Fig. 16 It is diﬃcult to detect the layer where the icons are located.

12 Vol.15, No.3, 2013 PC GUI 1 8. [6] Ishak [5] Faure [7] [8] [9] [10] 2 Dragicevic fold-and-drop [11] 3 Robertson Task Gallery [12] 3 Card Rooms [13] [14] Grossman Bubble Cursor [15] Delphian Desktop [16] Drag-and-Pop [17] Kobayashi Ninja Cursors [18] 2 [19] 2 9.

[11] 3 Robertson Task Gallery [12] 3 Card Rooms [13] 3 2 3 [14]

13 [20] [1], : ;, Vol.2011-HCI-144 No.13 pp.1-8 (2011). [2], : ; 19, pp (2011). [3] Tashman, C. and Edwards, W.K.: WindowScape: Lessons learned from a task-centric window manager; ACM Transactions on Computer-Human Interaction, Vol.19, No.1, Article 8 (2012). [4] : ;, Vol.12, pp.7-13 (2001). [5] Ishak, E.W., Feiner, S.K.: Interacting with hidden content using content-aware free-space transparency; In Proc. of UIST 04, pp (2004). [6], : ;, Vol.7, No.2, pp (2005). [7] Faure, G., Chapuis, O., Roussel, N.: Power tools for copying and moving: useful stuff for your desktop; In Proc. of CHI 09, pp (2009). [8], : ; 2005, pp (2005). [9], : ; 2004, pp (2004). [10],,,, : ; FIT2002, pp (2002). [11] Dragicevic, P.: Combining crossing-based and paper-based interaction paradigms for dragging and dropping between overlapping windows; In Proc. of UIST 04, pp (2004). [12] Robertson, G., Dantzich, M.v., Robbins, D., Czerwinski, M., Hinckley, K., Risden, K., Thiel, D., Gorokhovsky, V.: The task gallery: a 3D window manager; In Proc. of CHI 00, pp (2000). [13] Card, S.K., Henderson, A.H. Jr.: A multiple, virtual-workspace interface to support user task switching; In Proc. of CHI 87, pp (1987). [14],,, : 3 ; 2011 (2011). [15] Grossman, T., Balakrishnan, R.: The bubble cursor: enhancing target acquisition by dynamic resizing of the cursor s activation area; In Proc. of CHI 05, pp (2005). [16] Asano, T., Sharlin, E., Kitamura, Y., Takashima, K., Kishino, F.: Predictive interaction using the delphian desktop; In Proc. of UIST 05, pp (2005). [17] Baudisch, P., Cutrell, E., Robbins, D., Czerwinski, M., Tandler, P., Bederson, B., Zierlinger, A.: Drag-and-pop and drag-and-pick: techniques for accessing remote screen content on touch- and penoperated systems; In Proc. of Interact 03, pp (2003). [18] Kobayashi, M., Igarashi, T.: Ninja cursors: using multiple cursors to assist target acquisition on large screens; In Proc. of CHI 08, pp (2008). [19],, : 2 ;,, Vol.99 No.35 pp.1-6 (1999). [20] [ ]; ( ).

K.: Interacting with hidden content using content-aware free-space transparency; In Proc. of UIST 04, pp.189-192 (2004). [6], : ;, Vol.7, No.2, pp.81-88 (2005). [7] Faure, G., Chapuis, O., Roussel, N.

14 Vol.15, No.3, ACM

Windows7 OS Focus Follows Click, FFC FFC focus follows mouse, FFM Windows Macintosh FFC n n n n ms n n 4.2 2

Windows7 OS Focus Follows Click, FFC FFC focus follows mouse, FFM Windows Macintosh FFC n n n n ms n n 4.2 2 1 1, 2 A Mouse Cursor Operation for Overlapped Windowing 1 Shota Yamanaka 1 and Homei Miyashita 1, 2 In this paper we propose an operation method for overlapped windowing; a method that the user slides