Technologies in Yoga BOOK Halo keyboard Core Algorithm Team, Yokohama R&T*, Lenovo Japan *Research and Technology For Lenovo Customer Revision-4b(JP), 2016-12-26
Table of Contents イントロ 開発者からのメッセージ タイピング生産性評価 キーボードレイアウト タッチICファームウェア タイピング プロファイラ エルゴノミック ヴァーチャル レイアウト 資料の目的 Yoga BOOK Halo keyboard 内部技術のご紹介 2
開発者(横浜R&T* Core Algorithm Team)からのメッセージ *Research and Technology スマートフォンやタブレットで使われているスクリーンキーボード は 長い文章の入力にはあまり使われていません 物理キーボードのような思い通りの入力は 現状のスクリーンキーボードではできないためです Yoga BOOKのHaloキーボードは ハードウェアとしてはスクリーンキーボードとほぼ同じです 物理キーボードとHaloキーボードの差をソフトウェアの力で縮めるため 私たちは多くの独自技術を開発しました 私たち 横浜R&Tはアルゴリズムの開発からYoga BOOKプロジェクトに参加し 最終的にはキーボードレイアウト タッチICのファームウェア デバイスドライバーからソフトウェアに至るまで つまり センサーハードウェア以外のほぼ全てを担当しました ユーザーテストで Haloキーボードの生産性はスクリーンキーボードを凌駕し 2-in-1 PCの物理キーボードに匹敵するとの結果を得られました 私たちの作ったHaloキーボードと共に Yoga BOOKが次世代のクリエイティブ ツールになることを期待しています 現在のスクリーンキーボード Yoga BOOK Halo キーボード レイアウトがシンプルすぎる Yoga BOOK向けの特別なレイアウト パームレスト不可 パームレスト可 フィンガーレスト不可 フィンガーレスト可 タイピングの反応が遅い 物理キーボードに近い反応 タイピングエラーが多い 不可視レイアウトの学習による エラーの低減 3
タイピング生産性評価 テスト参加者 40 名 (=10 名 x 4 グループ ) US, China, EMEA, Japan Yoga BOOK を初めて触るユーザー 開発からはテスト参加者なし 50% が 20 代 / 50% が 30 代以上 テスト使用キーボード Yoga BOOK / コンパクト Bluetooth キーボード ( 物理キー ) / 2-in-1 用キーボードカバー ( 物理キー ) / スクリーンキーボード テスト結果 : Yoga BOOK が実現したこと 物理キーボードに近い生産性の提供 - スピード : BT キーボードの 101% / キーボードカバーの 89% - エラー : 物理キーボードに匹敵する少なさ スクリーンキーボードを大きく上回る生産性の提供 - スピードを 66% 向上 & エラーを 39% 低減 低い学習負荷 100% = 8 日目の文字入力速度 4
キーボードレイアウト ThinkPad と同じキー数 同じ画面サイズの ThinkPad 10 と同じ機能を提供するため 同じキー数を確保しました スクリーンキーボードでは 表示するキーの数を制限してユーザーに複数レイアウト ( 例 アルファベット 数字 ) を切り替えてもらうのが一般的ですが 切り替えは面倒です Halo キーボードでは レイアウトの切り替えは必要ありません データ解析に基づいたキーピッチ 様々なテスターの平面上でのタイピング位置を計測し 平面上でのベストなキーピッチをデータ解析から導き出しました いわゆる 19mm フルピッチより やや小さな値です Halo キーボードのピッチは 18.1 x 17.4 mm です 解析で得られたピッチより ほんの少し小さくなっています Backspace キーのカスタマイズ 平面キーボードでは Backspace キーは ( 残念ながら ) 頻繁に使われるキーの一つです Halo キーボードではタイピングしやすくするため Backspace は右上の角に配置しています タイピング位置の解析から Backspace キーの幅を最適化しています ThinkPad 10: 80 keys Yoga BOOK: 80 keys スマートバックライトコントロール 特に平面キーボードでは その視認性が生産性に大きく関わります Halo キーボードはバックライトで表示されるため 視認性向上にはより多くの電力が必要となります Halo キーボードでは タイピング中にバックライトが点灯するスマートバックライトコントロールを導入し 視認性と低電力が両立しました また Halo キーボードのイメージをよりスマートなものにしています ペン使用時はバックライト OFF 5
タッチ IC ファームウェア ファームウェアレベルでのパームレスト対応 手のひらが置かれる部分を ファームウェアレベルで不感帯に設定しました ソフトウェアでのパームレスト対応に比べて より高速かつ正確なタイピング検出が可能になりました タッチパッドのスマートなOn/Off タイピング中 意図せずタッチパッドを触ってしまうことがあります 凹凸のある物理キーボード / タッチパッドに比べて フラットなHaloキーボードでは この問題がより多く発生することがわかりました 解決策として タッチICファームウェアにタッチパッドをスマートにOn/Offする機能を導入しました タイピング中 タッチパッドは中心部を除き不感帯となっています この中心部を触ると タッチパッド全面が使用可能になります 再びタイピングを始めると タッチパッドはもとの小さな状態に戻ります より詳細な情報 タッチファームウェアをカスタマイズし 指のタッチに関する詳細な情報を得られるようにしました このカスタマイズは正確なタイピング検出に役立っています No touch data タッチパッド中心部のみ ON キーボードをタイピング No touch data タッチパッド中心部をタッチ タッチパッド全体が ON 6
タイピング検出 (Typing Profiler) 背景 タッチ IC からは ユーザの意図したタイピングの他にも 意図していない指の接触や キーボード上で休んでいる指 ( フィンガーレスト ) の接触などの混合したデータが送られてきます 全タッチデータ Time 上記の混合データから ユーザの意図的なタイピングを検出するため 私たちは Halo キーボードのためのタイピング検出アルゴリズムを開発しました 意図的なタッチ 意図的なタイピング メリット フィンガーレストの検出 押し下げによる連続文字入力 (Typematic) 指をタッチしたタイミングでの文字出力 物理キーボードに近いユーザー体験 Yoga BOOK の文字出力 a スクリーンキーボードの文字出力 a 物理キーボードに準ずる高速な反応 ユーザーのタイピング意図に沿った順序での文字出力 指タッチ 指引き上げ Time 7
エルゴノミック ヴァーチャル レイアウト (Ergonomic Virtual Layout / E-VL) ヴァーチャル レイアウト センサーで捉えられたタイピング位置を 出来る限りユーザーの意図として正しく捉えるため 私たちはHaloキーボードにヴァーチャル レイアウト (Virtual Layout, VL) という概念を導入しました VLにより 表示されたレイアウトとは異なる不可視のレイアウトを設定することができるようになります ( 単純化した概念図 ) 太郎の E-VL / A キー 自動学習機能付きエルゴノミック ヴァーチャル レイアウト 出来る限りユーザーのタイピングの意図を正しく捉えるため 私たちは以下のルールを持つエルゴノミック ヴァーチャル レイアウト (Ergonomic VL, E-VL) を開発しました VL キーの位置と大きさを 各ユーザーの癖に合わせる 異なるユーザーやタイピング方法にVLを素早く適応させる 見えているレイアウトとVLの間で矛盾を生じさせない 過学習 及び誤学習の回避 タイピング履歴は記録せずに ユーザーの癖を学習する メリット E-VL の学習アルゴリズムはタイピング履歴を記録しないため いわゆるキーロガー的な問題は全く発生しません タッチタイプできる人 できない人双方に 使いやすく生産的なフラットキーボードの実現 タイピング生産性の向上 (>20%) 見えているレイアウト 花子の E-VL / A キー 8