1 手書き文字を自由に 認識 記録するデバイス 会津大学コンピュータ理工学部コンピュータ理工学科 准教授荊雷
Analog handwriting 2 従来技術とその問題点 手書きによる筆記 :Longhand writing( アナログペン ) 高い記録性を持つ 人にとって自然で受け入れやす い デジタル化が困難であり 他のデバイスとの同調 同期が難しい HMIによる筆記 :Shorthand writing( キーボード タッチパネル等 ) 使いにくい 環境依存 サイズ制限
新技術の特徴 従来技術との比較 技術記録媒体使い便利性手書き認識手法 アナログ デジタル 持ち歩く しやすさ ハンドフリ Online/offline HWR 自動デジタル化 Natural handwriting 通常の筆記具 ペンと紙 No NULL NULL NULL 本提案の技術により ユーザが今まで慣れた手書き動作そのままで OCR OCR スキ ャンナー NULL offline ( 認識率低い ) アナログとデジタル情報を同時に保存できるようになる カメラ カメラ NULL online ( 認識率低い ) タッチパネル パネル No online 本提案の技術の特徴 : 手書きモデリング ーーー > 筆跡を復元 複数センサデータ融合 ーーー > ローコストセンサで デジタルペン No online 高精度で筆跡復元可能 スマートワッチ online 本技術 online 3
手書きシステムの構成図
A 手書き動作データ収集システム BLE USB WS WB Terminal WS: WonderSense の略語 WB: WonderBox の略語 両方とも研究室で開発したセンサモジュール 図 : 指先に付けてのデータ収集の様子 5
B 多種類センサ融合による自動分割 : 概念 実ストローク 虚ストローク
B 多種類センサ融合による自動分割 : 閾値法 図 : 各次元の加速度センサー値から 接触か非接触かの観察統計 7
B 多種類センサ融合による自動分割 : 加速度と角速度センサ単軸の例 1 angular (degree)
B 多種類センサ融合による自動分割 : 加速度と角速度センサ単軸分割効果
B 多種類センサ融合による自動分割 : 摩擦単軸の例 2 The friction between pen and writing surface. FFT Time domain acceleration waveform (writing digits 1, 2, 3 on the paper) Frequency domain acceleration waveform (writing digits 1, 2, 3 on the paper)
B 多種類センサ融合による自動分割 : 摩擦単軸に置ける分割法 We use Flag to prevent recognition without writing. Flag = 0 Flag = 1 1 2 Flag = 0 Recognition 3 1 second : Number of data packets = fs(sensor frequency) 1 second
B 多種類センサ融合による自動分割 : 摩擦単軸分割効果 Extra stroke by pen up
多種類センサ融合による自動分割 : 本特許の提案 表 : 多種類センサー間の補完 信号源 sensor user coefficency environment dependency Time Domain 加速度加速度 dependent independent 角速度ジャイロ dependent independent Frequency Domain 振動加速度 independent 音マイク independent depend on paper and pen depend on paper and pen 13
B 多種類センサ融合による自動分割 14
開始 Flowchart for 1,2 各ストロークに対して 例 IS1 IS2 IS3 ACC GRO MIC RS1 RS2 RS3 FFT FFT x=0.5 振動 音 訓練用 DB に保存 手動的に 四種類のデータにタグをつける Observation 統計 n observation input: x1,, xn 例 : タグを付けた訓練用の加速度データ条件 : - RSx は stroke の波形 - ISx は non-stroke の波形 -observation set: {x1=0.5, x2=0.6, x3=0.7, x4=0.8} 問題 :observation result on current data set 方法 : 縦軸が x, x1=0.5 の時 角速度 x 軸との交点が二つ うちに IS にいる点が一つ だから y1=0.5 n observation output: y1,, yn 15
Flowchart for 3,4 継続 n observation output: y1,, yn 各次元のデータに対して カーネル法を利用し 周辺分布関数 f(x) を求める Φ(x) is a kernel function, 結合分布関数を計算 END 16
C 筆跡復元 : 手書きモデルの簡略化 従来の手と指を中心としたモデル ペンを中心としたモデル
C 筆跡復元 : 手書きモデルの簡略化 球面関節 S Li 直動関節 C p i p (i+1) L(i+1) 記号 C: ペンを支点. O: 支点を通した紙の垂直線と紙の交点 S: センサーの中心点 p: ペン先 Li: 時刻 i に支点とペン先の距離 O 直動関節 図 : 手 ペン 紙 三者構成した機構の分析
C 筆跡復元 : 直交座標系
C 筆跡復元 : 復元アルゴリズム X Z
紙に手書き動作の軌跡復元 実験用文字 ( 数字 + 小文字英文字 ) 空中手書き動作の軌跡復元 図 : 手書き動作の軌跡復元結果 ( 分割には加速度センサだけを利用している ) 21
C 筆跡復元の定量評価 :Tablet trajectory :WS trajectory
C 筆跡復元の定量評価 Avg : 7.98 Avg : 1.56 Avg : 5.85 Avg : 1.23
D 筆跡認識について 1 1 0 Z 7-1 2 X 6 p 0 q 0 3 5-1 1 4 0 Chain code Normalization Feature Encoding p i p q i+1 j q I-1 555555111066557 a. b. c. 特徴値抽出プロセス 24
D 筆跡認識率調査 (SVM 5- 分割交差検証 ) 25
26 想定される用途 人とコンピュータとの新たな相互作用が生まれる 例 1: ホワイトボードへの筆記を同時にデジタル化する 例 2: 個人のノートへの筆記を同時にデジタル化する } ユーザーとしての可能性は どんな人にもある 全ての人は日々何らかの筆記行為を行うためである } 実用化に向けて最初に考えている市場は 教育市場 中学校 高校 大学などに市場があると考えている ユーザーとして対象に考えているのは 学生や教師
27 実用化に向けた課題 現状 動作できるデモシステム開発完了 認識率 36 文字 87% 研究論文あり 課題 爪の形状にフィットする装置のデザイン開発 連続した筆記に対応できるような文字分割の精度向上
28 企業への期待 手袋や服装などの日常用品に埋める ヘルスケア スポーツ商品にセンシング 動作認識機能を追加し 新製品の共同研究開発 工場や病院などの仕事現場に ヒューマンエラーを軽減する手法
29 本技術に関する知的財産権 発明の名称 : 手書き文字認識装置 検出 装置および処理装置 出願番号 : 特願 2016-205061 出願人 : 会津大学 発明者 : 荊雷
30 お問い合わせ先 会津大学 産学官連携コーディネーター石橋史朗 TEL 0242-37-2776 FAX 0242-37-2778 e-mail ubic-adm@ubic-u-aizu.jp