概要修正されたスペルミス missspell missspell misspell おっとっと本研究の対象修正されなかったスペルミススペルミス発見従来研究の対象二種類のスペルミスを比較しどのようなミスが気づかれやすいのか気づかれにくいのかを明らかにした修正されたスペルミスの分析は

Size: px

Start display at page:

Download "概要修正されたスペルミス missspell missspell misspell おっとっと本研究の対象修正されなかったスペルミススペルミス発見従来研究の対象二種類のスペルミスを比較しどのようなミスが気づかれやすいのか気づかれにくいのかを明らかにした修正されたスペルミスの分析は"

しょうじたけすえ
7 years ago
Views:

2 概要修正されたスペルミス missspell missspell misspell おっとっと本研究の対象修正されなかったスペルミススペルミス発見従来研究の対象二種類のスペルミスを比較しどのようなミスが気づかれやすいのか気づかれにくいのかを明らかにした修正されたスペルミスの分析はスペルミス訂正エンジンの構築に有用だと期待

3 修正されたスペルミスの獲得修正されたスペルミスと修正例を BACKSPACEキー操作を含むキーストロークから獲得キーストローク m - i - s - s - s - p - BACKSPACE - BACKSPACE - p - e - l - l 修正前文字列修正後文字列 missspell misspell 修正ペア Amazon Mechanical Turkを利用してキーストロークを収集

4 er records in Fig. 3. in typing 15 days. The numbers of 関連研究 haracters are 3, 042, 637, :10:38.790ms] zhe 䘉 WINWORD.exe zonamazon Mechanical Amazon Mechanical Turk Mechanical を利用した Turkselect:2 を利用した Turk を利用した Twitterの英語スペルミス分析 [荒牧+ 10] respectively. We show some キーストロークログからのスペルミスの収集と分析ロークログからのスペルミスの収集と分析キーストロークログからのスペルミスの収集と分析 :10:39.770ms] select:1 shi ᱟ WINWORD.exe 類似した高頻度語低頻度語 twitrer twitter Ӱᚦ冄 WINWORD Fig. 3.11:10:40.950ms] select:1 shenem 馬場雪乃馬場雪乃鈴木久美鈴木久美鈴木久美修正されなかったスペルミスに関する研究東京大学大学院理工学系研究科学院情報理工学系研究科情報理工学系研究科 Microsoft Research Microsoft Research Microsoft Research ac.jp :10:42.300ms] Backspace WINWORD.exe elect:2 zhe 䘉 WINWORD.exe :10:42.520ms] Backspace WINWORD.exe 中国語IME上でのスペルミス分析 [Zheng+ 11] elect:1 shi ᱟ WINWORD.exe :10:42.800ms] Backspace WINWORD.exe じめに elect:1 shenem Ӱᚦ冄 WINWORD.exe :10:45.090ms] select:1 shenme ӰѸ WINWORD.e 字入力をする際人間はたくさんの際人間はたくさんのュータで文字入力をする際人間はたくさんのを生み出してしまう入力中にタてしまう入力中にタいタイポを生み出してしまう入力中にタ Backspace WINWORD.exe 合には SPACE がついた場合には BACKSPACE (BS) キーなど BACKSPACE (BS) キーなど (BS) キーなど shenemmissspell shenme missspell missspell misspell misspell misspell 除修正すればいいが気づかれなばいいが気づかれな当箇所を削除修正すればいいが気づかれな Backspace WINWORD.exe 出力文字列に残ってしまう残ってしまうイポは最終出力文字列に残ってしまう Figure 3: Backspace in user typing records. 変換後のBACKSPACEキー操作情報を利用して修正ペアを獲得 1: 1: 1: る研究は広く行われているが訓練行われているが訓練訂正に関する研究は広く行われているが訓練が主要な要因であるかを分析したが主要な要因であるかを分析したが主要な要因であるかを分析した [7] この研究で対象 [7] この研究で対象 [7] この研究で対象 Backspace WINWORD.exe れているのはニュース記事や検索クニュース記事や検索クして用いられているのはニュース記事や検索クとしているのはとしているのは Twitter 上の最終出力文字列であり本としているのは Twitter 上の最終出力文字列であり本 Twitter 上の最終出力文字列であり本文字列に残っているタイポとその修ているタイポとその修の最終出力文字列に残っているタイポとその修実際にユーザーがタイプしたキーストロークを利用して研究のような入力中のタイポは対象としていないまた研究のような入力中のタイポは対象としていないまた研究のような入力中のタイポは対象としていないまた elect:1 shenme ӰѸ WINWORD.exe あると想定される文字列である文字列である [4, 3] しかし最 [4, 3] しかし最 [4, 3] しかし最キーストロークキーストロークキーストローク m - i - s - s - sm - p- -i -BACKSPACE s - s - sm - p- -i- -BACKSPACE BACKSPACE s - s - s - p --- BACKSPACE pbackspace - e - l - l -- p BACKSPACE -e-l-l -p-e-l-l 修正前文字列図修正前文字列修正後文字列修正前文字列修正後文字列修正後文字列キーストロークの例図キーストロークの例図キーストロークの例本研究はユーザによって修正されたタイポを獲得してお本研究はユーザによって修正されたタイポを獲得してお本研究はユーザによって修正されたタイポを獲得しておスペルミス分析を行ったのは本研究が初めてない入力中に修正されるタイポもに修正されるタイポも字列に残らない入力中に修正されるタイポもり高頻度語もタイポ候補にできるがこの研究では低頻り高頻度語もタイポ候補にできるがこの研究では低頻り高頻度語もタイポ候補にできるがこの研究では低頻タを用いることでスペこのようなタイポデータを用いることでスペタイポデータを用いることでスペ度語しかタイポ候補にできないまた対象言語は英語度語しかタイポ候補にできないまた対象言語は英語度語しかタイポ候補にできないまた対象言語は英語られると我々は考えたンジンの精度を向上させられると我々は考えたを向上させられると我々は考えた From Fig. 3, we can see the typing process o

6 タスク設計と入力された文章例画像を文章入力のトリガーとして用いるタスクを設計キーストローク収集タスクであることを隠せる言語非依存説明文を記述するタスク説明文を記述するタスク登場人物のセリフを記述するタスク登場人物のセリフを記述するタスク英 A flock of penguins waddle towards two trees over snow covered ground. 英 oh mummy. please dont take a clip. i am naked and i feel shy. at least give me a towel. 日お母さん足つかへん日ペンギンの群れが雪の中を行進しています

7 タスクインターフェースユーザがテキストボックスに文章を入力する JavaScriptを用いて入力中のキーストロークを獲得キーストロークをロギングサーバに送信 IMEとロギングエンジンは MSRのUniversal Text Inputを利用 A2-6 入力支援機能を統合した多言語入力システム Universal Text Input 英語約50,000文日本語約6,000文のキーストロークを収集

9 分析対象データセット修正されなかったスペルミス修正されたスペルミス ja_keystroke en_keystroke キーストロークから獲得した日本語の修正ペア (4,838ペア) キーストロークから獲得した英語の修正ペア (44,378ペア) 英語日本語スペルミスの比較 en_common Wikipedia:Lists of common misspellingsと SpellGoodから獲得した一般的な英語の修正ペア (10,609ペア) 修正されたスペルミスと修正されなかったスペルミスの比較

10 分析方法 4つのスペルミスカテゴリに分類 Deletion: e.g., stre_t street Insertion: e.g., yeellow yellow Substitution: e.g., waitimg waiting Transposition: e.g., teh the どの要因でスペルミスが発生しているのかを分析物理的要因手指の動作キー間の距離視覚的要因文字の視覚的類似性単語内の位置同じ文字の繰り返し音韻的要因文字の音韻的類似性

11 修正されたされなかったスペルミスの比較概要 1. スペルミスカテゴリ気づきやすい: Substitution 気づきづらい: Deletion, Transposition 2. 単語内での位置気づきやすい: 単語の両端でのミス気づきづらい: 単語の中ほどでのミス 3. 文字の視覚的類似性気づきづらい: 似ている文字同士のSubstitution (e.g., yoqa yoga ) 4. 同じ文字の繰り返し気づきづらい: 同じ文字が連続している場所でのDeletion (e.g., tomor_ow tomorrow ) 5. 音韻的類似性気づきやすい: 子音同士のSubstitution (e.g., eazy easy ) 気づきづらい: 母音同士のSubstitution (e.g., visable visible )

12 en_keystroke en_common Deletion Insertion Substitution Transposition Ratio (%)

13 修正されたされなかったスペルミスの比較 2 単語内でのスペルミス発生位置 Insertion 修正されたスペルミスは単語両端が多い Density Density Deletion base position / (word length 1) (%) Substitution Transposition Density Density base position / (word length 1) (%) base position / (word length 1) (%) base position / (word length 1) (%) en_common en_keystroke 修正されたスペルミス修正されなかったスペルミスバスタブ則単語の両端でのミスには気づきやすく単語の中ほどでのミスには気づきづらいとも合致

14 修正されたされなかったスペルミスの比較 3 文字同士の視覚的類似度とSubstitution発生頻度 Freq. Substition Similarity Freq Similarity en_common 修正されなかったスペルミス 0.90 修正されなかったスペルミスでは文字同士が類似していると 0.90 きのSubstitution が多い en_keystroke 修正されたスペルミス似ている文字同士のSubstitutionには気づきづらい e.g., yoqa yoga

15 修正されたされなかったスペルミスの比較 4, 5 気づきづらい: 同じ文字が連続している場所でのDeletion e.g., tomor_ow tomorrow 気づきやすい: 子音同士のSubstitution e.g., eazy easy 文字の繰り返し母音同士子音同士のSubsitution 子音が語彙情報を担っているという先行研究 [Nespor+ 03]とも合致気づきづらい: 母音同士のSubstitution e.g., visable visible 英語では母音の発音と綴りが対応していないことが要因か

16 修正されたされなかったスペルミスの比較まとめ視覚的音韻的要因によるスペルミスは修正されやすい 1. スペルミスカテゴリ気づきやすい: Substitution 気づきづらい: Deletion, Transposition 2. 単語内での位置気づきやすい: 単語の両端でのミス気づきづらい: 単語の中ほどでのミス 3. 文字の視覚的類似性気づきづらい: 似ている文字同士のSubstitution (e.g., yoqa yoga ) 4. 同じ文字の繰り返し気づきづらい: 同じ文字が連続している場所でのDeletion (e.g., tomor_ow tomorrow ) 5. 視覚的要因音韻的類似性音韻的要因気づきやすい: 子音同士のSubstitution (e.g., eazy easy ) 気づきづらい: 母音同士のSubstitution (e.g., visable visible )

17 英語日本語のスペルミスの比較 Transpositionでの単語内での位置の差英語隣り合った文字同士のTranspositionがほとんど e.g., teh the 日本語 2つ先の文字とのTranspositionも多い e.g., kotoro tokoro 日本語ではキーではなくかなを入力の1 airudo aidoru 単位とする傾向があるようだ母音でのスペルミス日本語: 母音のInsertion 母音同士のSubstitutionが少ない日本語では5種類しか母音がないこと母音によって綴りが明確に異なることから母音を間違えづらいと考えられる

日本語入力システムの概要日本語入力システムはインプットメソッド (Input Metho d) のうち特にパソコンやワープロ携帯電話などに日本語を入力するためのものを指す通常はキー入力をソフトウェアで制御して実現するパソコンにおいて英文の入力は一般のキーボードでタイプライター同様にタイプ

日本語入力システムの概要日本語入力システムはインプットメソッド (Input Metho d) のうち特にパソコンやワープロ携帯電話などに日本語を入力するためのものを指す通常はキー入力をソフトウェアで制御して実現するパソコンにおいて英文の入力は一般のキーボードでタイプライター同様にタイプ色々な日本語入力システム (IME) 担当 : 張希先 http://seoiljp.tistory.com seoiljp@gmail.com http://seoiljp.tistory.com 1 日本語入力システムの概要日本語入力システムはインプットメソッド (Input Metho d) のうち特にパソコンやワープロ携帯電話などに日本語を入力するためのものを指す通常はキー入力をソフトウェアで制御して実現する