【NEM】発表資料(web掲載用).pptx

Size: px

Start display at page:

Download "【NEM】発表資料(web掲載用).pptx"

しなつかいじ
5 years ago
Views:

1 ユーザビリティ評価方法の実践的拡張および適用ソフトウェアテストシンポジウム 2013 東京 2013 年 1 月 30 日 ( 水 )~31 日 ( 木 ) 株式会社日立製作所 IT プラットフォーム事業本部プラットフォーム QA 本部ソフト品質保証部河野哲也 TAN LIPTONG 岩本善行ソフトウェア本部生産技術部白井明居駒幹夫

2 NE 比 ( 倍 ) 非熟練者平均 ( 秒 ) 熟練者平均 ( 秒 ) ログイン初期設定追加設定セットアップ設定環境設定起動 1

3 発表の流れ導入 : 適用例 ( 適用 1) NEM の拡張 (Novice Expert ratio Method) 評価の流れとポイント追加適用例 ( 適用 2) 考察と今後の展望 2

4 NEMの概要とポイント (Novice Expert ratio Method) l NEM: Novice Expert ratio Method ユーザと開発者のギャップに関わる問題を操作時間の比較によって明らかにする方法 [1] u ユーザ (Novice) と開発者 (Expert) が評価者となり評価対象を指定のシナリオに従い操作する u ユーザの各シナリオの平均操作時間と開発者の各シナリオの平均操作時間との比 (NE 比 ) を表す n 平均操作時間を折れ線グラフで表現し NE 比を棒グラフで表現 l ポイント u ユーザビリティの評価者はユーザと開発者とする [1] 鱗原晴彦他 (1999): 設計者と初心者ユーザの操作時間比較によるユーザビリティ評価手法, ヒューマンインタフェースシンポジウム '99. u ユーザと開発者の平均操作時間を NE 比として比較する n 実際にはシナリオに滞在している時間なので以降滞在時間と呼ぶ u NE 比が大きいシナリオには何らかの問題があると仮定し分析を進める 3

5 NEMの拡張 (Novice Expert ratio Method) l ユーザビリティの評価者はユーザと開発者とする u Novice( 素人 ) と Expert( 玄人 ) の元々の意味を考えると必ずしもユーザと開発者である必要はない n 一般ユーザを招集するのは制約が大きい問題がある u Novice を担当製品以外の QA 技術者 ( 非熟練者 ) とし Expert を担当製品の QA 技術者 ( 熟練者 ) とすることでテスト品質保証部門内で適用可能とする l 平均滞在時間を NE 比として比較する u 同じ平均滞在時間でもばらつきの大小がありばらつきの大きい場合は問題の可能性がある u 平均滞在時間のみではなく滞在時間のばらつきについても分析できるようにするために箱ひげ図でばらつきを表現する 4

6 箱ひげ図 E 氏 F 氏 G 氏 H 氏熟練者 A 氏 B 氏 C 氏 D 氏非熟練者追加設定環境設定セット 67 8 アップ設定起動追加設定環境設定セットアップ設定起動熟練者非熟練者ログ 1 初期 23 追加セット環境アップ 8 イン設定設定設定設定起動 0 ログ初期追加セット環境アップイン設定設定設定設定起動 5

7 NE 比と箱ひげ図のセットで分析 (Novice Expert) NE 比 ( 倍 ) 非熟練者平均 ( 秒 ) 熟練者平均 ( 秒 ) 熟練者ログ初期 1 23 追加セット環境 4 アップイン設定設定設定設定起動追加設定セットアップ設定環境設定ログ起動初期追加セット非熟練者環境アップ 1イン 23 設定 4設定設定設定起動 6

8 発表の流れ導入 : 適用例 ( 適用 1) NEM の拡張 (Novice Expert ratio Method) 評価の流れとポイント追加適用例 ( 適用 2) 考察と今後の展望 7

9 NEMによる評価の流れ (Novice Expert ratio Method) 1) 評価対象シナリオの選定 u 評価する一連の手続きを決める 2) 滞在時間の計測単位の設定 u 1) のシナリオを分けたりまとめたりし時間の計測単位を決める 3) 評価準備 u 1) と 2) に基づき操作手順書の作成や操作課題の設定を行う 4) 評価者の選定 u 熟練者と非熟練者を選定する 5) 評価実施 n 可能なら開発者を熟練者に含める u 評価者は 3) の課題や手順に従い操作する u 企画者は 2) の単位に従い時間を計測する 6) 評価結果の整理と分析 u 5) の評価結果をグラフ化する u 問題のあるシナリオを特定する追加設定 E 氏 F 氏 G 氏 H 氏追加設定環境設定セットアップ設定熟練者起動セットアップ設定環境設定 NE 比 ( 倍 ) 非熟練者平均 ( 秒 ) 熟練者平均 ( 秒 ) 追加設定環境設定セットアップ設定熟練者ログ 1 初期 23 追加 4 セット 5 67 環境 8 アップ起動イン設定設定設定設定 A 氏 B 氏 C 氏 D 氏初期起動追加設定環境セットアップ設定設定設定起動非熟練者起動ログ初期追加環境セットアップ 5 67 起動 8 イン設定設定設定設定非熟練者 8

10 評価を進める上でのポイント 1) 評価対象シナリオの選定 u 評価する一連の手続きを決める 2) 滞在時間の計測単位の設定 u 1) のシナリオを分けたりまとめたりし時間の計測単位を決める 3) 評価準備 u 1) と 2) に基づき操作手順書の作成や操作課題の設定を行う 4) 評価者の選定 u 熟練者と非熟練者を選定する 5) 評価実施 n 可能なら開発者を熟練者に含める u 評価者は 3) の課題や手順に従い操作する u 企画者は 2) の単位に従い時間を計測する 6) 評価結果の整理と分析 u 5) の評価結果をグラフ化する u 問題のあるシナリオを特定するユーザビリティ評価の目的を事前に決めておくシナリオの中に評価したい画面や手続きを含めるようにする予備評価を必ず行い以下を調査する (2 名程度で実施 ) ü 評価者はどの程度の熟練具合が適切かを把握する ü 計測単位と手順課題が適切か確認する評価者の邪魔にならない程度に操作を観察する ( 問題の大半は見ていれば分かる ) 指定手順で実施しているかを確認する 9

11 評価の流れによる記述 -PFD[2] (Process Flow Diagram) 製品仕様評価対象計測単位設定 [2]Process Flow Diagram の略詳細は PFD の書き方 ( 第 3 版 ) ( 評価シナリオ選定分節後のシナリオ QA メンバシナリオ評価準備評価手順課題現開発次期開発評価者選定評価者のスキル分析結果 ( 問題点グラフ ) 製品企画想定ユーザ評価者評価実施評価データ結果整理分析評価対象 10

12 ポイントを含む評価の流れ製品仕様評価シナリオ選定評価対象計測単位設定分節後のシナリオ予備評価 QA メンバ QA メンバシナリオ評価準備評価手順課題現開発次期開発評価目的製品企画評価者選定想定ユーザ評価者評価者のスキル評価対象評価実施評価データ観察結果結果整理分析分析結果 ( 問題点グラフ ) 評価目的 11

13 発表の流れ導入 : 適用例 ( 適用 1) NEM の拡張 (Novice Expert ratio Method) 評価の流れとポイント追加適用例 ( 適用 2) 考察と今後の展望 12

14 適用の概要 l 適用対象プロファイル u ストレージ管理ソフトウェア n 適用 1 の製品よりユーザビリティに配慮した製品 u 製品コンセプト l 評価概要 n マニュアルなし初心者でも使用可能ただし初心者といっても一定の専門知識が必要 u 評価対象シナリオ概要 n 任意のボリュームをホストへ割り当てる u 操作ログが収集可能であったため潜在時間はログで確認 l 仮説 u 直感的には適用 2 の製品の方がユーザビリティが良いので適用 1 よりは適用 2 の方が NE 比が小さいはず 13

15 2 つの適用の比較 : 仮説の検証 l 仮説の通り適用 2 の方が圧倒的に NE 比が小さい u 時間での比較は意味が無く NE 比というデータだから比較ができる l 本結果は NEM という評価方法の妥当性を確認しているようにも見える NE 比 ( 倍 ) 非熟練者平均 ( 秒 ) 熟練者平均 ( 秒 ) 適用 :18 02:01 01:44 NE 比 ( 倍 ) 非熟練者平均 ( 秒 ) 熟練者平均 ( 秒 ) 適用 : : : : : ログ1 初期 23 追加セット環境アップ 8 イン設定設定設定設定起動 00:00 プール Vol. Vol. 作成作成割当

16 適用結果 :NE 比 (Novice Expert) NE 比 ( 倍 ) 非熟練者平均 ( 秒 ) 熟練者平均 ( 秒 ) 02: : : : : : : : : プール作成 Vol. 作成 Vol. 割当 15

17 適用 2のNE 比とばらつき (Novice Expert) NE 比 ( 倍 ) 非熟練者平均 ( 秒 ) 熟練者平均 ( 秒 ) 02: : : : : : : : : プール作成 Vol. 作成 Vol. 割当 04:19 熟練者 04:19 非熟練者 03:36 03:36 02:53 02:53 02:10 02:10 01:26 01:26 00:43 00:43 00: プール作成 Vol. 作成 Vol. 割当 00: プール作成 Vol. 作成 Vol. 割当 16

18 発表の流れ導入 : 適用例 ( 適用 1) NEM の拡張 (Novice Expert ratio Method) 評価の流れとポイント追加適用例 ( 適用 2) 考察と今後の展望 17

19 考察 l 本提案のサマリ u 熟練者非熟練者を評価者とする u 平均滞在時間と NE 比ばらつきをグラフで表現する u ユーザビリティに関する問題を分析する l どのような問題を対象としているのか? u 表示文言やメッセージが本来の意味とが乖離している u 画面の整合性が悪く指定されたボタンが見つからない n 問題がありそうな画面メッセージや手続きは分かるが具体的な問題を特定するには多岐にわたる検討が必要 l 何を評価しているのか? 手順書課題理解評価者理解操作評価対象 18

20 今後の展望 :NEMの枠組みの利用 (Novice Expert ratio Method) l NEM は使用性のうち主に理解性と運用性の一側面を評価している u 時間そのもののではなく NE 比で評価 l 広範な評価対象に NEM の枠組みを利用する u テスト対象のみではなくマニュアルを含めて NEM で評価する n テスト対象を理解した評価者であればマニュアルの評価にも使える l 習熟性に NEM の枠組みを利用する u 非熟練者の一回目と二回目の操作時間を比較する NE 比 ( 倍 ) 非熟練者平均 ( 秒 ) 熟練者平均 ( 秒 ) 追加セット環境アップ設定設定設定起動

21 今後の展望 : 品質保証部の役割 l この種の製品はこれくらいの NE 比であるという基礎的なデータを収集蓄積する u 将来のユーザビリティ評価に役立てる l 評価の目的に沿って評価対象の膨大なシナリオの中から適切なシナリオを選定する u ユーザビリティの問題につながりそうなシナリオを組み込む n 不具合ではないものの顧客クレームに繋がりそうな分かりにくい画面や理解しにくいメッセージなどが含まれるシナリオを優先的に選び評価する u 共通的に利用される基本シナリオを評価する n 問題がないことを前提として品質評価という位置づけで評価を行う l ゴール : ユーザビリティに関わる品質にさらに貢献する u ユーザビリティの検討は開発やデザイン専門部門で進めることが多い n 日立では UX 作り込みの専任部署でユーザビリティを強化している 20

22 まとめ :NEMの実践的拡張と実適用 (Novice Expert ratio Method) l NEM の拡張 u NEM の一連の流れを示した u NEM の拡張を行った : 熟練者 / 非熟練者箱ひげ図 l NEM の適用 u 2 つの適用を示し適用結果を比較した n 適用 1 では NE 比が著しく悪いシナリオを特定し問題を把握した u ユーザビリティに配慮した製品の方が NE 比が小さいことを確認した l 考察と今後の展望を示した u NEM の考え方を他の評価への拡張可能性の検討を行った u NEM 適用を進める上で品質保証部としての役割を整理した 21

23 END ご静聴ありがとうございましたユーザビリティ評価方法の実践的拡張および適用ソフトウェアテストシンポジウム 2013 東京株式会社日立製作所河野哲也

PowerPoint プレゼンテーション

PowerPoint プレゼンテーション GSN を応用したナレッジマネジメントシステムの提案 2017 年 10 月 27 日 D-Case 研究会国立研究開発法人宇宙航空研究開発機構研究開発部門第三研究ユニット梅田浩貴 2017/3/27 C Copyright 2017 JAXA All rights reserved 1 目次 1 課題説明 SECI モデル 2 GSN を応用したナレッジマネジメントシステム概要 3 ツリー型チェックリスト分析