for Pepper 導入マニュアル ver Pepper for Biz -1 -

Size: px

Start display at page:

Download "for Pepper 導入マニュアル ver Pepper for Biz -1 -"

きみかずしまむね
5 years ago
Views:

1 for Pepper 導入マニュアル ver Pepper for Biz -1 -

2 目次１. 利用環境 3p ２. Web管理画面の使い方 2.1 ログイン 6p 7p 2.2 学習データの確認 8p 2.3 動作確認 9p 2.4 ログの確認 10p 2.5 ユーザー辞書 11p 2.6 設定 12p 2.7 Pepper連携 13p ３. ロボアプリの設定 17p ４. アプリの使い方 32p ５. うまく動かない場合 42p 本マニュアル内に記載のURLやPepper fo Bizの会員ページは 2017年07月07日現在有効なものです -2 -

3 1. 利用環境 -3 -

4 1.1 利用環境対象年齢推奨年齢 12才以上必要とする係員の人員推奨１名以上 Pepper OS の対応バージョンバージョン

5 利用契約を行う TalkQAの契約を行う以下の順序でTalkQAの契約を行い TalkQAを導入運用します ①TalkQAの契約以下の連絡先にお問い合わせくださいエクスウェア株式会社東京都品川区北品川寿ビル4F Tel Fax Mail ②学習データの作成エクスウェアから提供する以下のようなフォーマットに自動化したい問い合せ業務の質問事項回答内容を埋めます * ③動作確認データのチェックとAIトレーニングを行いながらログの確認を行い動作の確認を行いますご要望により質問数は変動します -5 -

6 2. Web管理画面の使い方 -6 -

2.1 ログイン TalkQA管理サイト https://app-talkqa.it-momonga.

7 2.1 ログイン TalkQA管理サイトにアクセスます ① ② ③ ①メールアドレス登録されたメールアドレスを入力してください ②パスワード登録されたパスワードを入力してください ③ログインボタン登録されたアカウントにログインすることができます -7 -

8 2.2学習データの確認左側にある回答一覧ボタンを選択します (sampleclassifier) ③ ① ② ①回答一覧登録した回答を一覧で表示します ②質問一覧ボタン 1つの回答に対して以下のように登録した質問を一覧で表示することができます ③ダウンロードボタン全ての学習したデータのcsvファイルとimgファイルが入っているzipファイルをダウンロードすることができます (sampleclassifier) -8 - sample@aa

9 2.3 動作確認左側にある動作確認ボタンを選択します (sampleclassifier) ② ① ③ ④ ①質問入力欄動作確認用にPepperに質問したい質問を入力できます ②質問送信ボタン質問入力後質問送信ボタンをクリックすることで回答が表示されます ③回答欄入力に対してPepperが回答する回答文と回答が質問に対して正しい割合である確信度が表示されますまた画像が登録されている場合は画像データを文字データに変換したものも表示されます ④フィードバックボタン質問に対して正しい回答が得られたか否かを選択して送信します正しい場合ははい間違っている場合はいいえを選択してください ① ④までの動作確認の結果はログデータとして表示されます -9 -

10 2.4 ログの確認左側にあるログボタンを選択します (sampleclassifier) ① ③ ② ①表示期間検索期間を選択し検索することで指定した期間のログを表示できます ②ログ質問をした日時質問内容回答内容フィードバックのログを表示しますフィードバックがはいの場合はこの回答は役に立ちましたがフィードバックがいいえの場合はこの回答は役に立ちませんでしたが表示されフィードバックを回答しなかった場合は何も表示されません ③ダウンロードボタン質問した日時質問内容回答内容確信度フィードバッククライアントが記録された csv ファイルをダウンロードすることができます -10-

11 2.5 ユーザー辞書左側にあるユーザー辞書ボタンを選択します (sampleclassifier) ③ ④ ② ① ①変換前の単語一覧と②変換後の単語一覧質問した際 ①に登録してある文字列を対応する②の文字列に変換し実際に問い合わせをします ③アップロードボタン以下の形式の変換前と変換後の2列csvファイルをアップロードすることでユーザー辞書を登録することができますユーザー辞書を全削除したい場合は空のファイルをアップロードしてください ④ダウンロードボタン以下の形式の登録してある変換前と変換後の単語のユーザー辞書のcsvファイルをダウンロードすることができます変換前の単語１変換後の単語１変換前の単語２変換後の単語２変換前の単語３変換後の単語３-11-

12 2.6 設定左側にある設定ボタンを選択します (sampleclassifier) ④ ① sampleclassifier sampleclassifier ② ③ ①分類器編集現在学習に使用している分類器名の表示とその編集ができます ②確信度設定* 確信度〇〇以上は自信がありますと回答する Webブラウザ上のTalkQAのチャットの設定であるため TalkQA for Pepper では設定値に関わらず登録した回答を回答します自信がありますとは回答しません確信度〇〇未満は質問を認識できませんでしたと回答する TalkQA for Pepperでは質問に対する回答の確信度が設定値未満の場合は登録した質問として認識できないとしネットワークから取得した回答(フリートーク)を回答します ( 質問を認識できませんでしたとは回答しません ) ③チャット質問ログ表示設定 Webブラウザ上のTalkQAのチャット質問ログの表示設定であるため TalkQA for Pepper では使用しません ④更新ボタン ① ③の変更を設定に更新します登録回答数によって調整が必要な場合があります -12-

2.7 Pepper連携 Pepper連携を選択した後待機画像を選択します (sampleclassifier) sample@aa ③ ① ②

ファイルの縦横の最大サイズはそれぞれ800px 1280pxです ②待機時画像確認

13 2.7 Pepper連携 Pepper連携を選択した後待機画像を選択します (sampleclassifier) ③ ① ② ①画像ファイルアップロードボタン待機時の画像をアップロードできますファイルの種類はjpg(jpeg) png gifですまたファイルの縦横の最大サイズはそれぞれ800px 1280pxです ②待機時画像確認待機時にPepperのタブレットに表示される画像を確認することができます何もアップロードせずにPepperと同期した場合は上記のTalkQAのロゴ画像が表示されます ③削除ボタンアップロードしてある画像を削除します -13-

14 2.7 Pepper連携 Pepper連携を選択した後セリフを選択します (sampleclassifier) ③ ④ ⑤ ① ② ①聞き取り開始時セリフ QA機能を開始するときに表示発話するセリフを表示します 1件のみ登録することができます編集ボタンを選択することでセリフとタグ調整*を編集登録できます ②待機時セリフ待機画面でランダムに表示発話するセリフを表示します編集ボタンを選択することでセリフとタグ調整*を編集登録できます 100件まで登録することができます ③削除ボタン登録してある聞き取り開始時セリフと待機時セリフを削除します -14-

15 2.7 Pepper連携セリフタブレットに表示されるセリフですタグ調整 Pepperが発話するセリフですタグ調整記載例 pau Pepperの発話の一時停止ですミリ秒単位で指定できます例 \pau=1000\ こんにちは rspd Pepperの発話するスピードですまでの速さを指定できます指定がない場合は105です例 \rspd=105\ こんにちは vct Pepperの声の高さですまでの高さを指定できます指定がない場合は135です例 \vct=145\ こんにちは ④アップロードボタン聞き取り開始時セリフと待機時セリフのあるcsvファイルをアップロードできますファイルは以下の形式になっています ⑤ダウンロードボタン聞き取り開始時セリフと待機時セリフのあるcsvファイルをダウンロードできますファイルは以下の形式になっています待機時セリフ１(セリフ) 待機時セリフ１(タグ調整) 待機時セリフ２(セリフ) 待機時セリフ２(タグ調整) 待機時セリフ３(セリフ) 待機時セリフ３(タグ調整) -15-

16 2.7 Pepper連携 Pepper連携を選択した後 PepperIDを選択します (sampleclassifier) ① ①PepperID 登録されているPepperの個体IDを表示します Pepperがアカウントと同期が成功するとこの画面にIDが表示されます IDの横にあるボタンをクリックすることで登録を解除することができます -16-

17 3. ロボアプリの設定 -17-

3. ロボアプリの設定ロボアプリ TalkQA をPepperにインストールする本作業はウェブブラウザ上で行いますブラウザで http://www.softbank.

18 3. ロボアプリの設定ロボアプリ TalkQA をPepperにインストールする本作業はウェブブラウザ上で行いますブラウザでにアクセスしますロボアプリ配信管理をクリックします SBRアカウントアルデバランアカウント作成時に登録したメールアドレスパスワードを入力しサインインをクリックします -18-

19 3. ロボアプリの設定カテゴリロボアプリマーケット for Biz を選択しアプリリストより [Market] TalkQA for Pepper を選択します右上の配信開始ボタンをクリックします -19-

20 3. ロボアプリの設定本作業はPepper上で行います Pepper の基本設定画面を開きます左から３番目のアップデートアイコンをタップしますアップデートが開始されますすべてのアプリケーションは最新版ですと表示されましたらインストール完了です -20-

3. ロボアプリの設定お仕事かんたん生成でお仕事を作成する本作業はウェブブラウザ上で行いますブラウザで http://www.softbank.

21 3. ロボアプリの設定お仕事かんたん生成でお仕事を作成する本作業はウェブブラウザ上で行いますブラウザでにアクセスしますお仕事かんたん生成をクリックします SBRアカウントアルデバランアカウント作成時に登録したメールアドレスパスワードを入力しサインインをクリックします -21-

22 3. ロボアプリの設定お仕事リストタブをクリックするとお仕事リスト画面が表示されます新しいお仕事作成をクリックします -22-

23 3. ロボアプリの設定既存のお仕事と区別するために任意でお仕事名を変更します次へ進むをクリックしメニュー設定画面へ遷移します呼び込み待機挨拶は任意で設定してください TalkQA -23-

24 3. ロボアプリの設定メニュー画面表示中のPepperのセリフ設定しますメニュー開始時トーク右の鉛筆アイコンをクリックしますセリフ例 TalkQA を入力し OK をクリックします -24-

25 3. ロボアプリの設定メニュー戻り時トーク右の鉛筆アイコンをクリックし開始時と同様に設定します日本語メニューを編集するボタンをクリックします -25-

26 3. ロボアプリの設定マイアプリと完了してステップ2へをクリックします画面にカーソルを当て編集をクリックします -26-

27 3. ロボアプリの設定ビヘイビアパスを下記の通りに変更し OK をクリックしますビヘイビアパス biz_market_xware_talk_qa_app/behavior_1 biz_market_xware_talk_qa_app/behavior_1 次へ進むをクリックします締めトークは任意で設定してください -27-

28 3. ロボアプリの設定お仕事の期間を指定しない Pepperにお仕事を配信しますかについては全てのロボットに配信を選択し完了ボタンをクリックしますロボットごとに個別で配信設定が必要な場合は手動で個別に配信を選択し次ページ手動で個別に配信を選択した場合の手順にしたがって配信設定を行ってください -28-

29 3. ロボアプリの設定手動で個別に配信を選択した場合ロボットリストタブをクリックしますお仕事を反映させたいロボットのアイコンをクリックします -29-

30 3. ロボアプリの設定手動で個別に配信を選択した場合反映させたいお仕事を選択しチェックボックスにチェックが入ったら OK をクリックします TalkQ A お仕事リストタブをクリックするとお仕事のステータスが配信データ転送中に変更されています５分ほど経過するとステータスが配信中に変更されます -30-

31 3. ロボアプリの設定作成したお仕事がPepperに配信されましたら Pepper本体の管理メニューお仕事選択より作成したお仕事を選択しアプリを起動してくださいお仕事選択方法につきまして詳しくはこちらをご参照ください Pepperが実行するお仕事を設定するスタッフ

32 4. アプリの使い方 -32-

33 4. アプリの使い方起動方法手順２で設定したお仕事のマイアプリから起動してください初期同期画面 ① ③ ② ④ TalkQA for Pepper のアプリを初めて実行する時は初期同期画面が表示されますなお 2回目のアプリ実行から初期同期画面ではなく待機画面が表示されます ①ユーザ名ユーザ名を入力してください ②パスワードパスワードを入力してください ③パスワード表示/非表示ボタンボタンをタッチすることで入力してあるパスワードを表示/非表示すすことができます ④同期ボタンボタンをタッチすることで①②で入力したアカウントの設定と同期することができます -33-

34 4. アプリの使い方待機画面一定時間間隔*1で待機時のセリフ*2をタブレットに表示し Pepperが同じ内容を発話します画面をタッチするまたは Pepperに近づくと音声認識画面に遷移します 1 待機時セリフの間隔はアプリの設定画面で変更できます 2 待機時セリフと待機時の画像はWeb管理画面で登録できます -34-

35 4. アプリの使い方音声認識画面 ② ① この画面を表示している間はPepperが音声を認識します ①質問例登録された質問が例としてランダムに出力されます ②戻るボタンタップすると音声認識画面が終了し待機画面に戻ります -35-

4. アプリの使い方質問回答画面 ① ② ①認識した質問音声で認識した質問が表示されます ②回答枠認識した質問に対する回答が表示されます TalkQA からの回答の確信度が高い場合登録された回答を枠内に表示します画像が登録されている場合画像が表示され登録した回答をPepperが読み上げます画像が登録されていない場合

36 4. アプリの使い方質問回答画面 ① ② ①認識した質問音声で認識した質問が表示されます ②回答枠認識した質問に対する回答が表示されます TalkQA からの回答の確信度が高い場合登録された回答を枠内に表示します画像が登録されている場合画像が表示され登録した回答をPepperが読み上げます画像が登録されていない場合登録した回答文を表示し Pepperが読み上げます Pepperが読み終わるまたは次へをタップするとフィードバック画面に遷移します TalkQA からの回答の確信度が低い場合雑談内容を回答の枠内に表示し Pepperが読み上げます Pepperが読み終わるまたは次へをタップすると音声認識画面に遷移します -36-

37 4. アプリの使い方フィードバック画面登録された回答を読み上げた後にフィードバック画面に遷移します Pepperが聞きとった質問に対する回答が正しい場合ははい間違っている場合はいいえをタップまたは音声で回答してください Pepperは以下の言葉に対応しますまたはいの場合は頭タッチでも回答できます回答正解回答不正解はいいいえ合っている違う合っています違いますこの結果はログデータとして記録され Web管理画面から確認できます -37-

4. アプリの使い方設定画面表示方法全ての画面の左上を約4秒長押し*すると設定画面に遷移します * 押している間に画面遷移があった場合は押し直す必要があります ① ② ③ ④ ⑤ ⑦ ⑥ ①同期ボタンタップすると同期確認モーダルが出力され OKボタンをタップすると同期できます

38 4. アプリの使い方設定画面表示方法全ての画面の左上を約4秒長押し*すると設定画面に遷移します * 押している間に画面遷移があった場合は押し直す必要があります ① ② ③ ④ ⑤ ⑦ ⑥ ①同期ボタンタップすると同期確認モーダルが出力され OKボタンをタップすると同期できます同期成功後は最終同期日時の項目の日時が更新されます ②音量変更ボタンタップするとスライダーの調整によって音量を変更できます ③待機時セリフの間隔変更ボタンタップするとキーパッドによって間隔(0 300秒)を変更できますただし 0 4秒に設定した場合は 5秒ほど待機することになります -38-

39 4. アプリの使い方設定画面 ④待機時セリフの発音確認ボタン待機時セリフ数の項目に同期している待機時セリフの数が表示されますその隣の発音確認ボタンをタップすると待機時セリフ一覧のモーダルが出力されます発音を確認したいセリフがある場合はそのセリフの隣の再生マークをタップしてくださいタップしたセリフをPepperが発話しますこのセリフはWeb管理画面で変更できます ⑤アプリ終了ボタンの表示/非表示切替ボタンタップするとON/OFFの切替ができ設定画面とユーザ切替画面以外の全画面の右上にアプリ終了ボタンを表示することができますアプリ終了ボタンをタップするとアプリが終了します ⑥ユーザ切替ボタンタップするとユーザー切替画面に遷移します ⑦アプリへ戻るボタンタップすると待機画面に戻ります -39-

40 4. アプリの使い方ユーザー切替画面 ① ユーザー切替画面で異なるユーザのコンテンツを同期することができます初回同期画面と同じようにWeb管理画面で登録したユーザ名とパスワードを入力して同期ボタンをタップすると同期ができます ①戻るボタンタップすると設定画面の戻ります同期前に左上の戻るボタンをタップすると既に同期してある内容が反映された設定画面に戻ります同期後に左上の戻るボタンをタップすると新しく同期した内容が反映された設定画面に戻ります -40-

41 4. アプリの使い方終了方法バックバンパーを3秒長押しする ① またはアプリ終了ボタンをタップする ②ことによってアプリを終了させることができます ① ② -41-

42 5. うまく動かない場合 -42-

43 5. うまく動かない場合 TalkQAが起動しませんお仕事かんたん生成にてマイアプリとして登録してあるビヘイビアパスに誤りが無いかご確認ください TalkQAのビヘイビアパスは以下の通りですビヘイビアパス biz_market_xware_talk_qa_app/behavior_1 Pepperが同期できません回答しませんネットワーク接続がない時または接続が不安定な場合はTalkQAのコンテンツ同期すること及び質問に対して回答することができなくなります本事象が発生した場合は Pepper のネットワーク接続設定をご確認くださいその他のお問い合わせその他ご不明点等ございましたら下記よりお問い合わせください Tel (土日祝日年末年始を除く10:00 17:00) Mail フォーム

44 for Pepper 導入マニュアル終

目次はじめに p3 手順１. ペップレ運用担当に連絡する p5 手順２. ロボアプリペップレをPepper にインストールする p6 手順３. お仕事かんたん生成でお仕事を再作成する p9 手順４. ios連携機能をご利用の場合 ios p20 アプリと Pepper をペアリングする手

目次はじめに p3 手順１. ペップレ運用担当に連絡する p5 手順２. ロボアプリペップレをPepper にインストールする p6 手順３. お仕事かんたん生成でお仕事を再作成する p9 手順４. ios連携機能をご利用の場合 ios p20 アプリと Pepper をペアリングする手 Pepperで気軽に簡単プレゼンテーションロボアプリ配信方法変更マニュアル 2018.04.18 ver 1.4.1-1- 目次はじめに p3 手順１. ペップレ運用担当に連絡する p5 手順２. ロボアプリペップレをPepper にインストールする p6 手順３. お仕事かんたん生成でお仕事を再作成する p9 手順４. ios連携機能をご利用の場合 ios p20 アプリと Pepper