コーパスを用いた中国語ネット語の判定システム竇梓瑜 ( 東京農工大学工学府情報工学専攻 ) 古宮嘉那子 ( 東京農工大学工学研究院先端情報科学部門 ) 小谷善行 ( 東京農工大学工学研究院先端情報科学部門 ) A Detection System of Chinese Netspeak Using

Size: px

Start display at page:

Download "コーパスを用いた中国語ネット語の判定システム竇梓瑜 ( 東京農工大学工学府情報工学専攻 ) 古宮嘉那子 ( 東京農工大学工学研究院先端情報科学部門 ) 小谷善行 ( 東京農工大学工学研究院先端情報科学部門 ) A Detection System of Chinese Netspeak Using"

ありおきかなり
4 years ago
Views:

1 コーパスを用いた中国語ネット語の判定システム竇梓瑜 ( 東京農工大学工学府情報工学専攻 ) 古宮嘉那子 ( 東京農工大学工学研究院先端情報科学部門 ) 小谷善行 ( 東京農工大学工学研究院先端情報科学部門 ) A Detection System of Chinese Netspeak Using Text Corpus Ziyu Dou(Graduate School of Engineering, Tokyo University of Agriculture and Technology) Kanako Komiya (Institution of Engineering, Tokyo University of Agriculture and Technology) Yoshiyuki Kotani (Institution of Engineering, Tokyo University of Agriculture and Technology) 1. 研究背景現在中国ではインターネット利用者が爆発的に増えそれに伴って大量な中国語ネット語 ( 以下ネット語と書く ) が現れたネット語の独特な言葉やその使い方はインターネットだけではなく徐々に人々の生活にも浸透してきているしかし中国の人口はおよそ13.5 億であるのに対して中国のインターネット利用者は5.13 億と言われており中国人の半分以上はインターネットを利用していないそのような人々にとってネット語は理解しにくく意味が分からなかったりまたは意味の誤解からトラブルになったりすることがあるこうした事態を避けるため我々はコンピューターで自動的にネット語か書き言葉かどうかを区別するシステムを作成した本システムは任意の中国語の一つ以上の文の入力に対してネット語であるかどうかの判断結果を出力する 2. 中国語ネット語特徴の検出システムの構成中国語ネット語特徴検出システムの構成を図 1 に示す中国語の文 SVM ネット語であるかどうかベクトルの作成ネット語コーパス形態素解析器書き言葉コーパス図 1 中国語ネット語特徴の検出システムの構成 161

2 システムの入力は中国語文であり出力はネット語であるかどうかであるまずネット語コーパスと書き言葉コーパスの形態素解析を行いそれを特徴としてベクトルを作成しサポートベクターマシン ( SVM ) ( algo_svm.htm) を用いて機械学習を行う次に入力の中国語文に対して同様に形態素解析を行いベクトルを作成し先ほど学習した学習器を利用して入力の中国語文がネット語かどうかを判定する以下に各部分について順次述べる 2.1 形態素解析形態素解析の部分は ICTCLAS という中国科学院計算技術研究所の無料形態素解析プログラム ( を使用したこのプログラムは HMM を基本解析方法として構成されているプログラムは C 言語版と C++ 言語版が存在するが本システムで使われているのはその C++ 言語版であるなおこの形態素解析プログラムの基本機能は単語分割品詞つけ未知語表記でユーザ自身でも辞書に単語を入れることが出来るこの ICTCLAS プログラムの役割は書き言葉コーパスの文ネット語コーパスの文及び入力の文の形態素解析を行い品詞タグを付けることであるまたここで使用される品詞タグには計算所漢語詞性標注集 ( が使われている 2.2 ベクトルの作成と SVM SVM には SVM-light という無料プログラムを使用した SVM の入力はベクトルであるため前処理としてベクトルを作成したまずネット語コーパスと書き言葉コーパスの形態素解析の結果を合わせ出現した全ての単語を統計し単語毎に番号を付けるただしここでは単語が同じでも品詞が違う場合には異なる単語として違う番号を付与した特にここで統計するときアルファベットを除くためタグ /x が付いている単語を全部除いたベクトル作成はコーパスの文ごとに行った素性は単語であり素性値はコーパス中の頻度である 3. 実験と結果 3.1 データ実験用のデータは全てインターネットから収集したものであるこのうちネット語コーパスは新浪微博 ( から収集したこの新浪微博は現在 2012 年 1 月までに 2.5 億を超えるユーザを持つ中国最大のミニブログであるこのミニブログはツイッターと同様一発言として入力できるのは1 40 文字までという制限がある政府などの公式機関のユーザも多数あるがほとんどの発言はインターネット利用者の日常的な呟きなので典型的なネット語があると考えられるこれらのインターネットユーザ発言を収集するとき火車採集器 ( という無料ウェブデーター収集プログラムを利用し無作為にユーザを選択してデータを取得した最初に収集されたデータは既に HTML タグを全部除いた文であるこのような文が一行一文という形でテキストの中で記録されている新浪微博から収集したネット語コーパスの文の数は5000 文であるこのほかに百度貼バ (BBS サイト ) ( から100 文をネット語のコーパスとしてテストに利用した書き言葉コーパスは前述のように中国国家文字委員会の現代中国語コーパス ( の中の新聞と社論というカテゴリのコーパスから取ったも 162

3 のであるこのコーパスはネット語コーパスと同じく一行一文でテキストの中に記録されている現代中国語コーパスから利用する文の数は2000 文であるこのほかに SOHU ニュース ( から100 文を書き言葉のコーパスとしてテストに利用した 3.2 実験設計及び結果ネット語コーパスと書き言葉コーパスのどちらの文かを判定する制度を見るために実験 1~ 実験 4の四種類の実験を行った以下にそれぞれについて述べる (1) 実験 1 CLOSED テストまずネット語コーパスと書き言葉コーパスのどちらの文かを判定する制度を見るための CLOSED テストを行った CLOSED テストではテストデータは訓練データとして利用したものであるまた CLOSED テストでは顔文字などの符号を削除していない ( 略 : 符号あり ) 実験を行った以下に CLOSED テストにおける訓練データテストデータの種類と数また結果の求め方を説明するさらに実験の結果を表 1に示す表 1から CLOSED テストでは全ての文がネット語であるかどうか正しく判定できていることが分かる訓練データ : ネット語コーパス 5000 文書き言葉コーパス 2000 文テストデータ : ネット語コーパスからの1000 文と書き言葉コーパスからの400 文結果 : ネット語の率 =SVM がネット語として認識した文 /1000 書き言葉の率 =SVM が書き言葉語として認識した文 /400 ここでネット語におけるネット語の率はネット語の再現率であり書き言葉における書き言葉の率は書き言葉の再現率となる表 1 CLOSED テスト結果ネット語の率書き言葉の率ネット語コーパスからの1 000 文 ( 符号あり ) 100% 0% 書き言葉コーパスからの4 00 文 ( 符号あり ) 0% 100% (2) 実験 2 OPEN テスト ( 符号あり及び符号なし ) 次に訓練データとテストデータの重複を許さない OPEN テストの二つを行った OPEN テストでは符号と英文字によって構成され顔文字や略語の結果への影響を実証するため符号および英文字がある実験と符号および英文字がない ( 略 : 符号なし ) 実験を行って比較した以下に OPEN テストにおける訓練データテストデータの種類と数また結果の求め方を説明するさらに実験の結果を表 2に示す訓練データ : ネット語コーパス 4000 文書き言葉 1600 文テストデータ : ネット語コーパスの上記 4000 文を除いて残った1000 文書き言葉 163

4 コーパスの上記 1600 文を除いて残った400 文結果 : ネット語の率 =SVM がネット語として認識した文 /1000 書き言葉の率 =SVM が書き言葉語として認識した文 /400 ネット語コーパスからの1000 文 ( 符号あり ) 書き言葉コーパスからの400 文 ( 符号あり ) 表 2 OPEN テスト結果ネット語の率書き言葉の率正解率 98.4% 1.6% 22.0% 78.0% 92.6% ネット語コーパスからの1000 文 ( 符号なし ) 書き言葉コーパスからの400 文 ( 符号なし ) 98.9% 1.1% 50.2% 49.8% 84.9% (3) 実験 3 ネット語 100 文と書き言葉 100 文テスト ( 符号あり及び符号なし ) 次に訓練データとして使用したコーパスとは異なるコーパスとしてネット語コーパスに BBS 書き言葉コーパスに新聞を利用した際の OPEN テストを行った以下にその際の訓練データテストデータの種類と数また結果の求め方を説明するさらに実験の結果を表 3に示すこの実験の際にも実験 2と同様符号ありと符号なしの実験を行って比較した訓練データ : ネット語コーパス 5000 文書き言葉コーパス 2000 文テストデータ : 百度貼バ (BBS サイト ) から取った100 文をネット語とし SOHU ニュースから取った100 文を書き言葉としテストを行う結果 : ネット語の率 =SVM がネット語として認識した文 /100 書き言葉の率 =SVM が書き言葉語として認識した文 /100 表 3 ネット語 100 文と書き言葉 100 文テスト結果ネット語の率書き言葉の率正解率ネット語 100 文 87% 13% ( 符号あり ) 71.5% 書き言葉 100 文 44% 56% ( 符号あり ) ネット語 100 文 69% 31% ( 符号なし ) 83.5% 書き言葉 100 文 ( 符号なし ) 22% 78% 164

5 (4) 実験 4 アンケート ( 符号ありと符号なし ) 最後に比較対象として人間に符号ありと符号なしの際どの程度ネット語を判定できるかのアンケートを行った以下にアンケート実験における訓練データテストデータの種類と数また結果の求め方を説明するさらに実験の結果を表 4に示すこの実験の際にも実験 2 実験 3と同様符号ありと符号なしの実験を行って比較したテスト方法 : 数人の中国人インターネット利用者にアンケートテスト内容 : 上記の百度貼バ (BBS サイト ) から取ったネット語 50 文を SOHU ニュースから取った50 文を符号ありと符号なし二回被験者に判断してもらった顔文字で簡単に人間がネット語を判断しその結果を覚えてしまう可能性を排除するため先に符号なしのアンケートを行いその後符号ありのアンケートを行ったまた結果 : ネット語の率 =SVM がネット語として認識した文 /50 書き言葉の率 =SVM が書き言葉語として認識した文 /50 として計算した表 4 ネット語 50 文と書き言葉 50 文の人工判定テスト結果ネット語の率 ( 符号あり ) 書き言葉の率 ( 符号あり ) 正解率 ( 符号あり ) ネット語の率 ( 符号なし ) 書き言葉の率 ( 符号なし ) 正解率 ( 符号なし ) 20 代中 44% 100% 72% 44% 100% 72% 国人男性学生 20 代中 20% 100% 60% 16% 100% 58% 国人女性学生平均 32% 100% 66% 30% 100% 65% 4. 考察まず表 2の OPEN テストの結果が示すように本研究のネット語コーパスおよび書き言葉コーパスは確実に区別が存在する特にネット語コーパスは符号ありと符号なしの場合それぞれ 98.4% と98.9% の再現率となったしかし書き言葉コーパスに対する Open テストは符号ありのとき再現率が78.0% で符号なしの場合の再現率は49.8% まで下がったこれは訓練に使用したネット語コーパスの量が多いためとネット語コーパスの中でも書き言葉のような文が多数存在するためであると思われるまた符号がある場合とない場合の再現率の差から機械学習において符号の影響が大きいことが分かる続いて実際な文に対するテストの結果 ( 表 3) を分析するまず符号がある場合とない場合と比べるとネット語 100 文に対する認識正解率は18ポイント上がり 8 7% まで達成したこれに対し書き言葉は符号なしの場合のほうが22ポイント上回り 78% まで達成したこれによって符号がある場合文がネット語として認識される傾向が強まり符号がない場合には書き言葉として認識される傾向が強まることが分かるアンケート ( 表 4) の結果を見ると全部書き言葉の判定は100% 正解したがネット語の判定はいずれも44% と20% まで止まったことが分かるまた符号がある場合の符号がない場合と比べた正解率の上昇はわずかであった実験 4と実験 3の正解率を 165

6 比べると機械のほうが正解率が上回ることがわかったとこれはネット語といっても BBS では書き言葉的な表現も多数存在することが判定の結果に大きく影響したためだと思われるそれに対し書き言葉は 100% の正解率で人間が書き言葉を認識するのは簡単だったことが分かるネット語の定義を人間が判断できるものとすれば再現率にも変化があるだろう最後に表 3と表 4から機械学習と人間の正解率を比べる表 3から機械学習は最高 8 3.5% 表 4から人間の判断は最高 66% であるため作成したシステムの性能が人間に上回ることがわかる 5. 結論本論文では文の入力に対してネット語かどうかの判定を行うシステムを作成した入力の文は形態素解析を行いベクトル化したあと SVM を使ってネット語かどうかを判定した実験結果から本システムは符号がある場合ネット語に対する判定の正解率が上がり符号がない場合書き言葉に対する判定再現率が上がることが分かったまた人間に対するアンケートの結果から人間でもネット語かどうかの判定が難しいことが分かる特に BBS やミニブログなどの情報にはネット語的な特徴がない言葉も多数存在するので難しかったようであるまた機械学習と人間の正解率を比べると機械学習は最高 83.5% 人間の判断は最高 66% であるため作成したシステムの性能が人間に上回ることがわかった文献佐藤敏紀 Perl で自然言語処理東京工業大学奥村研究室谷岡広樹丸山稔 (2005) 形態素解析に基づく SVM を用いたアスキーアートの識別電子情報通信学会技術研究報告. PRMU, パターン認識メディア理解 104:670, pp 黒橋禎夫機械学習に基づく自然言語処理京都大学情報学研究科 Jin'ichi Murakami, HMM(Hidden Markov Model, 隠れマルコフモデル ) 語料庫在線 SVM-light ICTCLAS 情報と通信のハイパーテキスト Shogo Computing Laboratory 166

1. はじめに 2

点予測と能動学習を用いた効率的なコーパス構築形態素解析における実証実験京都大学情報学研究科 Graham NEUBIG 1 1. はじめに 2 形態素解析べた書きの文字列を意味のある単位に分割し様々な情報を付与品詞基本形読み発音等を推定農産物価格安定法を施行した価格 / 名詞 / 価格 / かかく / かかく安定 / 名詞 / 安定 / あんてい / あんてー法 / 接尾辞 /