ユーザビリティ評価方法の 実践的拡張および適用 ソフトウェアテストシンポジウム 2013 東京 2013 年 1 月 30 日 ( 水 )~31 日 ( 木 ) 株式会社日立製作所 IT プラットフォーム事業本部 プラットフォーム QA 本部ソフト品質保証部 河野哲也 TAN LIPTONG 岩本善行 ソフトウェア本部生産技術部白井明居駒幹夫
NE 比 ( 倍 ) 非熟練者平均 ( 秒 ) 熟練者平均 ( 秒 ) 30 1 9.00 25 8.00 20 7.00 6.00 15 5.00 4.00 10 3.00 5 2.00 1.00 ログ イン 初期 設定 追加 設定 セットアップ 設定 環境 設定 1 23 4 5 67 8 起動 1
発表の流れ 導入 : 適用例 ( 適用 1) NEM の拡張 (Novice Expert ratio Method) 評価の流れとポイント 追加適用例 ( 適用 2) 考察と今後の展望 2
NEMの概要とポイント (Novice Expert ratio Method) l NEM: Novice Expert ratio Method ユーザと開発者のギャップに関わる問題を 操作時間の比較によって明らかにする方法 [1] u ユーザ (Novice) と開発者 (Expert) が評価者となり 評価対象を指定のシナリオに従い操作する u ユーザの各シナリオの平均操作時間と 開発者の各シナリオの平均操作時間との比 (NE 比 ) を表す n 平均操作時間を折れ線グラフで表現し NE 比を棒グラフで表現 l ポイント u ユーザビリティの評価者はユーザと開発者とする [1] 鱗原晴彦他 (1999): 設計者と初心者ユーザの操作時間比較によるユーザビリティ評価手法, ヒューマンインタフェースシンポジウム '99. u ユーザと開発者の平均操作時間を NE 比として比較する n 実際にはシナリオに滞在している時間なので以降 滞在時間と呼ぶ u NE 比が大きいシナリオには何らかの問題があると仮定し 分析を進める 3
NEMの拡張 (Novice Expert ratio Method) l ユーザビリティの評価者はユーザと開発者とする u Novice( 素人 ) と Expert( 玄人 ) の元々の意味を考えると 必ずしもユーザと開発者である必要はない n 一般ユーザを招集するのは制約が大きい問題がある u Novice を担当製品以外の QA 技術者 ( 非熟練者 ) とし Expert を担当製品の QA 技術者 ( 熟練者 ) とすることで テスト 品質保証部門内で適用可能とする l 平均滞在時間を NE 比として比較する u 同じ平均滞在時間でもばらつきの大小があり ばらつきの大きい場合は問題の可能性がある u 平均滞在時間のみではなく 滞在時間のばらつきについても分析できるようにするために 箱ひげ図でばらつきを表現する 4
箱ひげ図 E 氏 F 氏 G 氏 H 氏 熟練者 A 氏 B 氏 C 氏 D 氏 非熟練者 50 50 40 40 30 30 20 20 10 10 追加設定 環境設定 1 23 4 5 セット 67 8 アップ 設定 起動 追加設定 環境設定 1 23 4 セット 5 67 8 アップ 設定 起動 550 500 450 400 350 熟練者 550 500 450 400 350 非熟練者 300 300 250 250 200 200 150 150 100 100 50 50 0 ログ 1 初期 23 追加セット 4 5 67 環境アップ 8 イン設定設定設定設定起動 0 ログ初期追加セット環境 1 23 4 アップ 5 67 8 イン設定設定設定設定起動 5
NE 比と箱ひげ図のセットで分析 (Novice Expert) NE 比 ( 倍 ) 非熟練者平均 ( 秒 ) 熟練者平均 ( 秒 ) 30 1 9.00 25 8.00 20 7.00 6.00 15 5.00 4.00 10 3.00 5 2.00 1.00 550 500 450 400 350 300 250 200 150 100 50 0 1 23 4 5 67 8 熟練者 ログ初期 1 23 追加セット環境 4 アップ 5 67 8 イン設定設定設定設定起動 追加設定 セットアップ設定 550 500 450 400 350 300 250 200 150 100 50 0 環境設定 ログ 起動 初期 追加 セット 非熟練者 環境 アップ 1イン 23 設定 4設定 5 67 8 設定設定 起動 6
発表の流れ 導入 : 適用例 ( 適用 1) NEM の拡張 (Novice Expert ratio Method) 評価の流れとポイント 追加適用例 ( 適用 2) 考察と今後の展望 7
NEMによる評価の流れ (Novice Expert ratio Method) 1) 評価対象シナリオの選定 u 評価する一連の手続きを決める 2) 滞在時間の計測単位の設定 u 1) のシナリオを分けたりまとめたりし時間の計測単位を決める 3) 評価準備 u 1) と 2) に基づき操作手順書の作成や操作課題の設定を行う 4) 評価者の選定 u 熟練者と非熟練者を選定する 5) 評価実施 n 可能なら開発者を熟練者に含める u 評価者は 3) の課題や手順に従い操作する u 企画者は 2) の単位に従い時間を計測する 6) 評価結果の整理と分析 u 5) の評価結果をグラフ化する u 問題のあるシナリオを特定する 50 40 30 20 10 追加設定 E 氏 F 氏 G 氏 H 氏 追加設定 環境設定 1 23 4 5 67 8 セットアップ設定 550 500 450 400 350 300 250 200 150 100 50 0 30 25 20 15 10 5 熟練者 起動 セットアップ設定 環境設定 NE 比 ( 倍 ) 非熟練者平均 ( 秒 ) 熟練者平均 ( 秒 ) 追加設定 環境設定 1 23 4 セット 5 67 8 アップ 設定 熟練者 ログ 1 初期 23 追加 4 セット 5 67 環境 8 アップ 起動 イン 設定 設定 設定 設定 50 40 30 20 10 550 500 450 400 350 300 250 200 150 100 50 0 A 氏 B 氏 C 氏 D 氏 初期 起動 追加設定 環境 1 23 4 セット 5 67 8 アップ設定設定設定 起動 非熟練者 起動 ログ 初期 追加 環境 セット 1 23 4 アップ 5 67 起動 8 イン 設定 設定 設定 設定 1 9.00 8.00 7.00 6.00 5.00 4.00 3.00 2.00 1.00 非熟練者 8
評価を進める上でのポイント 1) 評価対象シナリオの選定 u 評価する一連の手続きを決める 2) 滞在時間の計測単位の設定 u 1) のシナリオを分けたりまとめたりし時間の計測単位を決める 3) 評価準備 u 1) と 2) に基づき操作手順書の作成や操作課題の設定を行う 4) 評価者の選定 u 熟練者と非熟練者を選定する 5) 評価実施 n 可能なら開発者を熟練者に含める u 評価者は 3) の課題や手順に従い操作する u 企画者は 2) の単位に従い時間を計測する 6) 評価結果の整理と分析 u 5) の評価結果をグラフ化する u 問題のあるシナリオを特定する ユーザビリティ評価の目的を 事前に決めておく シナリオの中に評価したい画面 や手続きを含めるようにする 予備評価を必ず行い以下を調査 する (2 名程度で実施 ) ü 評価者はどの程度の熟練具合が 適切かを把握する ü 計測単位と手順 課題が適切か 確認する 評価者の邪魔にならない 程度に操作を観察する ( 問題の大半は見ていれば 分かる ) 指定手順で実施しているか を確認する 9
評価の流れによる記述 -PFD[2] (Process Flow Diagram) 製品仕様 評価対象 計測 単位 設定 [2]Process Flow Diagram の略 詳細は PFD の書き方 ( 第 3 版 ) (http://homepage3.nifty.com/koha_hp/process/pfdform3.pdf) 評価 シナリオ選定 分節後の シナリオ QA メンバ シナリオ 評価 準備 評価手順 課題 現開発 次期 開発 評価者 選定 評価者 のスキル 分析結果 ( 問題点 グラフ ) 製品 企画 想定ユーザ 評価者 評価 実施 評価 データ 結果 整理 分析 評価対象 10
ポイントを含む評価の流れ 製品仕様 評価 シナリオ選定 評価対象 計測 単位 設定 分節後の シナリオ 予備 評価 QA メンバ QA メンバ シナリオ 評価 準備 評価手順 課題 現開発 次期 開発 評価 目的 製品 企画 評価者 選定 想定ユーザ 評価者 評価者 のスキル 評価対象 評価 実施 評価 データ 観察 結果 結果 整理 分析 分析結果 ( 問題点 グラフ ) 評価目的 11
発表の流れ 導入 : 適用例 ( 適用 1) NEM の拡張 (Novice Expert ratio Method) 評価の流れとポイント 追加適用例 ( 適用 2) 考察と今後の展望 12
適用の概要 l 適用対象プロファイル u ストレージ管理ソフトウェア n 適用 1 の製品よりユーザビリティに配慮した製品 u 製品コンセプト l 評価概要 n マニュアルなし 初心者でも使用可能 ただし 初心者といっても一定の専門知識が必要 u 評価対象シナリオ概要 n 任意のボリュームをホストへ割り当てる u 操作ログが収集可能であったため 潜在時間はログで確認 l 仮説 u 直感的には適用 2 の製品の方がユーザビリティが良いので 適用 1 よりは適用 2 の方が NE 比が小さいはず 13
2 つの適用の比較 : 仮説の検証 l 仮説の通り適用 2 の方が圧倒的に NE 比が小さい u 時間での比較は意味が無く NE 比というデータだから比較ができる l 本結果は NEM という評価方法の妥当性を確認しているようにも見える 30 25 NE 比 ( 倍 ) 非熟練者平均 ( 秒 ) 熟練者平均 ( 秒 ) 適用 1 1 9.00 8.00 02:18 02:01 01:44 NE 比 ( 倍 ) 非熟練者平均 ( 秒 ) 熟練者平均 ( 秒 ) 適用 2 1 9.00 8.00 20 7.00 7.00 6.00 01:26 6.00 15 5.00 01:09 5.00 4.00 00:52 4.00 10 3.00 3.00 00:35 5 2.00 2.00 1.00 00:17 1.00 ログ1 初期 23 追加セット 4 5 67 環境アップ 8 イン設定設定設定設定起動 00:00 プール Vol. Vol. 作成作成割当 1 2 3 4 5 14
適用結果 :NE 比 (Novice Expert) NE 比 ( 倍 ) 非熟練者平均 ( 秒 ) 熟練者平均 ( 秒 ) 02:18 1.80 02:01 1.60 01:44 1.40 01:26 1.20 1.00 01:09 0.80 00:52 0.60 00:35 0.40 00:17 0.20 00:00 1 2 3 4 5 プール作成 Vol. 作成 Vol. 割当 15
適用 2のNE 比とばらつき (Novice Expert) NE 比 ( 倍 ) 非熟練者平均 ( 秒 ) 熟練者平均 ( 秒 ) 02:18 1.80 02:01 1.60 01:44 1.40 01:26 1.20 1.00 01:09 0.80 00:52 0.60 00:35 0.40 00:17 0.20 00:00 1 2 3 4 5 プール作成 Vol. 作成 Vol. 割当 04:19 熟練者 04:19 非熟練者 03:36 03:36 02:53 02:53 02:10 02:10 01:26 01:26 00:43 00:43 00:00 1 2 プール 3 4 5 作成 Vol. 作成 Vol. 割当 00:00 1 2 プール 3 4 5 作成 Vol. 作成 Vol. 割当 16
発表の流れ 導入 : 適用例 ( 適用 1) NEM の拡張 (Novice Expert ratio Method) 評価の流れとポイント 追加適用例 ( 適用 2) 考察と今後の展望 17
考察 l 本提案のサマリ u 熟練者 非熟練者を評価者とする u 平均滞在時間と NE 比 ばらつきをグラフで表現する u ユーザビリティに関する問題を分析する l どのような問題を対象としているのか? u 表示文言やメッセージが本来の意味とが乖離している u 画面の整合性が悪く指定されたボタンが見つからない n 問題がありそうな画面 メッセージや手続きは分かるが 具体的な問題を特定するには多岐にわたる検討が必要 l 何を評価しているのか? 手順書 課題 理解 評価者 理解 操作 評価 対象 18
今後の展望 :NEMの枠組みの利用 (Novice Expert ratio Method) l NEM は使用性のうち主に理解性と運用性の一側面を評価している u 時間そのもののではなく NE 比で評価 l 広範な評価対象に NEM の枠組みを利用する u テスト対象のみではなくマニュアルを含めて NEM で評価する n テスト対象を理解した評価者であればマニュアルの評価にも使える l 習熟性に NEM の 枠組みを利用する u 非熟練者の一回目と 二回目の操作時間を 比較する 30 25 20 15 10 NE 比 ( 倍 ) 非熟練者平均 ( 秒 ) 熟練者平均 ( 秒 ) 1 9.00 8.00 7.00 6.00 5.00 4.00 3.00 5 2.00 1.00 追加セット環境アップ設定設定設定起動 1 23 4 5 67 8 19
今後の展望 : 品質保証部の役割 l この種の製品はこれくらいの NE 比であるという 基礎的なデータを収集 蓄積する u 将来のユーザビリティ評価に役立てる l 評価の目的に沿って評価対象の膨大なシナリオの中から 適切なシナリオを選定する u ユーザビリティの問題につながりそうなシナリオを組み込む n 不具合ではないものの 顧客クレームに繋がりそうな分かりにくい画面や 理解しにくいメッセージなどが含まれるシナリオを優先的に選び評価する u 共通的に利用される基本シナリオを評価する n 問題がないことを前提として 品質評価という位置づけで評価を行う l ゴール : ユーザビリティに関わる品質にさらに貢献する u ユーザビリティの検討は開発やデザイン専門部門で 進めることが多い n 日立では UX 作り込みの専任部署でユーザビリティを強化している 20
まとめ :NEMの実践的拡張と実適用 (Novice Expert ratio Method) l NEM の拡張 u NEM の一連の流れを示した u NEM の拡張を行った : 熟練者 / 非熟練者 箱ひげ図 l NEM の適用 u 2 つの適用を示し 適用結果を比較した n 適用 1 では NE 比が著しく悪いシナリオを特定し問題を把握した u ユーザビリティに配慮した製品の方が NE 比が小さいことを 確認した l 考察と今後の展望を示した u NEM の考え方を他の評価への拡張可能性の検討を行った u NEM 適用を進める上で品質保証部としての役割を整理した 21
END ご静聴ありがとうございました ユーザビリティ評価方法の実践的拡張および適用 ソフトウェアテストシンポジウム 2013 東京 株式会社日立製作所 河野哲也