言語処理学会創立 20 周年おめでとうございます /10/7

Size: px

Start display at page:

Download "言語処理学会創立 20 周年おめでとうございます /10/7"

あきたけみねむら
5 years ago
Views:

1 国立国語研究所における言語資源開発 ( これまでとこれから ) 前川喜久雄国立国語研究所言語資源研究系コーパス開発センター

2 言語処理学会創立 20 周年おめでとうございます /10/7

3 講演の趣旨言語処理学会の創立 (1994 年 ) 以前に国語研が実施した言語資源よりの調査活動を紹介する国語研による ( 今日的な意味での ) 言語資源開発の現状を紹介する言語資源開発のこれからの課題を展望する /10/7

4 国立国語研究所 1948 年 1968 年 2001 年創立戦後初の国立試験研究所文化庁設置に伴い文化庁へ独立行政法人へ移行 2009 年大学共同利用機関法人 ( 人間文化研究機構 ) へ移管 /10/7

5 初期の国語研における言語資源話しことば研究関連研究当時未開拓であった現代語研究の方法論構築の一環として話し言葉の研究法を開拓した大量かつ多様な話し言葉のデータを収集して分析した語彙調査やはり現代語の書きことば研究の基礎として推計学に基づく語彙調査を実施した後に国語研の十八番となりながく継続された /10/7

6 話しことば研究 /10/7

7 話しことば研究の成果 :3 冊の報告書談話語の実態 (1955). 話しことばの文型 (1)- 対話資料による研究ー (1960). 話しことばの文型 (2)- 独話資料による研究ー (1963). 7

8 談話語の実態談話語の実態 (1955) におけるデータ収集 : オープンリール 80 巻 8

9 データ収集基準地域 : 山の手 ~ 下町 ~ 郊外場所 : 自宅近所学校職場公民館等性別 : 男女のすべての組み合わせ (4 通り ) 年齢 : 若年と中年のすべての組み合わせ (4 通り ) 学歴 : 低中高話者数 : 独話と様々な会話 (2~8 名 ) 話し言葉について均衡したデータを作成しようとした試みとしては世界最初と思われる 9

10 10

11 職場での電話会話残存するテープ録音年代不詳おそらく1950 年代末国語研の研究者同士 ( 男性ともに1911 年生 ) 若い女性 3 名 ( すべて 20 代 ) の雑談 1957 年 2 月録音話しことばの文型 (2) で分析されたサンプル 11

12 談話語の実態 (1) のための転記テキスト 12

13 13

14 機械式ソーティングカード韻律アノテーション 14

15 停滞と再生話しことばの文型 (2) (1963) で一連の話しことば研究は終了詳しい経緯は不明収集されたデータも一部を除いて散逸非公開話しことば研究は 60 年代後半から停滞期に突入国語研以外の実施主体は育っていなかったので結局日本全体が停滞この方面の研究が再開されるのは 30 年後の日本語話し言葉コーパス構築プロジェクト (1999~2003 年 ) 15

16 語彙調査 /10/7

17 語彙調査の目的日本語の使用実態を記述把握 1950 年代まで現代語は国語学の研究対象外資料による記述範囲の明確化行動主義的研究基本語彙, 生活語彙を重視戦後の国語合理化言語生活研究国語国字問題解決の参考資料明治以来の文科省の悲願 17

18 国立国語研究所の語彙調査調査資料 ( 資料の期間 ) 調査方法延べ語数異なり語数調査単位報告書出版年 1 新聞 1 か月 (1949 年 6 月 ) 2 婦人雑誌 (1950 年 ) 3 総合雑誌 (1953~54 年 ) 4 郵便報知 ( 明治 10 年 11 月 ) 5 雑誌九十種 (1956 年 ) 6 新聞 3 紙 (1966 年 ) 7 高校教科書 (1974 年 ) 8 中学校教科書 (1980 年 ) 9 テレヒ放送 (1989 年 4~6 月 ) 10 雑誌 70 誌 (1994 年 ) 全数調査標本調査標本調査標本調査標本調査標本調査全数調査全数調査標本調査標本調査 24 万 15 万 23 万 10 万 53 万 300 万 200 万 59 万 45 万 25 万 20 万 14 万 105 万 1.5 万 2.7 万 2.3 万 2.8 万 4.0 万 21.3 万万 4.1 万 0.8 万 1.8 万 2.6 万 4.8 万 β α β 文節 β 短長 W M W M 長 β

19 新聞 1 か月調査 (1949) に用いられたと思われる手書き用例カード総合雑誌調査 (1954) に用いられた和文タイプライタで作成した用例カード資料提供 : 宮島達夫氏 19

20 やはり総合雑誌調査の用例カード縦書き 1970 年前後になってゼロックスが利用可能に ( 革命的に便利!) 20

21 語種の構成 ( 延べ語数 ) 2.9 雑誌 90 種 (1956) 雑誌 70 誌 (1994) % 20% 40% 60% 80% 100% 和語漢語外来語混種語助辞及び人名地名を除く 21

22 語種の構成 ( 異なり語数 ) 雑誌 90 種 (1956) 雑誌 70 誌 (1994) % 20% 40% 60% 80% 100% 和語漢語外来語混種語助辞及び人名地名を除く 22

23 国語研語彙調査の問題と限界調査単位の不統一 β 単位 M 単位 W 単位文節 etc. データを公開 ( 共有 ) する発想の欠如単に語彙調査のためだけにデータを集めた報告書執筆後データは倉庫でホコリをかぶった 1990 年頃になっても著作権処理は無駄という意識があった国語研の言語データで公開を前提としたのは太陽コーパス (1994 年開始公開は 2005 年 ) が最初中途半端なコンピュータ利用 1965 年に電子計算機を導入 ( 人文系試験研究機関としては初 ) 調査の規模 ( 延べ語数 ) は拡大し複数の語彙表を公開するなどの効果もあったが集計が早くなり調査規模が拡大されただけで理論面では進歩がなかった NLP 的な研究も盛んにおこなわれたが今日の技術には繋がってはいない辞書無しの word segmentation など 23

24 コーパス開発 /10/7

25 コーパスの要件代表性 : 対象言語変種の全体をとらえている均衡性 : 多くの変種をとらえている規模 : ある程度規模が大きい真正性 : 実際に用いられた用例である電子化 : コンピュータで検索できる公開 : 有償無償を問わず誰でも利用できる ( アノテーション : 検索用情報が付加されている ) 25

26 国立国語研究所のコーパス名称 ( 公開年 ) 対象規模特徴太陽コーパス (2005) 総合雑誌太陽 1895~1925 推定 700 万語 ( 短単位 ) XML 化されたテキストコーパス日本語話し言葉コーパス (CSJ) (2004) 現代日本語書き言葉均衡コーパス (BCCWJ) (2011) 日本語歴史コーパス ( 平安時代編 ) (2013) 超大規模コーパス (2016 年公開予定 ) 独話音声中心 (5 レジスター ) 現代の書き言葉 (11 レジスター ) 平安時代文学 (14 作品 ) Web 上の日本語 (1 億 URL) 750 万語 (662 時間 ) 形態素情報 ( 短単位 + 長単位 ) 節境界係受け X-JToBI 1 億 500 万語形態素情報 ( 短単位 + 長単位 ) 文書構造書誌情報 73 万語形態素情報 ( 短単位 ) 300~400 億語 ( 予定 ) 形態素情報 ( 短単位 ) 文節係受け 26

27 それ以外の言語資源 27

28 国立国語研究所談話語言語処理学会話しことば 1 太陽新聞 1 月話しことば 2 新聞 3 紙高校教科書 CSJ BCC WJ CHJ 婦人雑誌総合雑誌中学教科書 TV 放送雑誌 70 種 WSC 雑誌九十種

29 コーパス開発のこれから /10/7

30 コーパス開発の課題規模の拡大レジスターの拡張アノテーションの充実アノテーション概念の拡張コーパス解析手法 30

31 規模の拡大 2007 年 3 月特定領域研究日本語コーパス公開研究会 31

32 超大規模コーパス ( 構築中 ) Q Q Q Q Number of WARC files Number of URLs 61,668,805 58,844,092 61,479,268 57,892,917 Number of Morphemes 64,714,650,129 62,077,520,745 63,414,252,638 65,736,027,334 (w/o sentence extraction) Number of Morphemes 33,767,409,441 32,651,138,004 33,073,991,355 30,923,912,566 (w/ sentence extraction) 52.2% 52.6% 52.2% 47.0% Number of Sentences (Tokens) 2,678,315,774 2,600,122,908 2,659,617,620 2,478,309,312 Number of Sentences (Types) 1,097,011,506 1,048,772,913 1,063,649,324 1,007,771, /05/19 IIPC Open Day 32 32

33 超大規模コーパスにおける文の重複 appearing only once in the corpus Titles, anchor texts of links or fixed phrases The most frequent one 職業とキャリア (occupation and career) in Yahoo! Answers 33

34 レジスターの拡張超大規模になるとウェブテキストが対象ウェブ全体はひとつのレジスターではない非常に多くのレジスターの混合物レジスター推定技術が重要ウェブではカバーできないレジスター種々の話し言葉種々の文芸作品 ( 現代作品 ) 34

35 イ形容詞 + です述語の生起率 (BCCWJ) OC: 知恵袋ネット掲示板 OP: 広報誌広報誌 OY: ブログブログ OM: 国会会議録国会会議録 PM: 雑誌出版雑誌 PB: 書籍 ( 出版 ) 出版図書 PN: 新聞出版新聞 LB: 書籍 ( 図書館 ) 図書館図書 OB: ベストセラーベストセラー OT: 教科書教科書 OW: 政府白書白書 OV: 韻文韻文 OL: 法律法律

36 各種述語の複雑さ ( 長さ ) のレジスター差 OL OP OW OT PN OV PM OY PB LB OM OB OC Noun Predicate 0 or 1 2 or higher OL OV OW PN OT PM PB LB OP OB OM OY OC Verb Predicate 0 or 1 2 or higher 0% 20% 40% 60% 80% 100% 0% 20% 40% 60% 80% 100% OL OW OV PN OT PB LB PM OB OP OY OM OC i-adjective Predicate 0% 20% 40% 60% 80% 100% 0 or 1 2 or higher OW OP OL PN OT OV PM PB OY LB OB OC OM na-adjective Predicate 0% 20% 40% 60% 80% 100% 0 or 1 2 or higher 36

37 アノテーションの充実コーパスの利用価値規模アノテーション国立国語研究所共同研究プロジェクトコーパスアノテーションの基礎研究 (2010~2015) 37

38 作業中のアノテーション文の構造文節係り受け構造国語研( 浅原 ) 奈良先端大( 松本 ) 文中のセグメント ( セグメント系 ) 拡張固有表現東工大( 飯田 ) 時間情報表現国語研( 浅原 ) 助動詞れるられるの意味国語研( 前川浅原 ) 述語境界節境界国語研( 前川丸山セグメントと文構造の中間拡張モダリティ東北大( 乾 ) 否定の焦点山梨大( 松吉 ) 述語に関連した文の内部構造 ( フレーム系 ) 述語項構造奈良先端大( 松本 ) 東工大 ( 飯田 ) 日本語フレームネット慶応大( 小原 ) 動詞項構造シソーラス岡山大( 竹内 ) その他韻律構造読み時間情報等国語研( 小磯前川浅原 ) /10/7

39 研究としてとしてのアノテーション自然言語処理 21 巻 2 号コーパスアノテーション新しい可能性と共有化にむけての試み投稿 14 件 ( 後取り下げ 2 件 ) 9 件採録 ( 採録率 75%) 39

40 重要だが未着手のアノテーションの例社会言語学的アノテーション話し手 / 書き手の属性年齢性別出身地教育レベル職業性格趣味人間関係 Etc /10/7

41 アノテーション概念の拡張常識 : アノテーションには唯一の正解 ( 真値 ) があるカッパ値の高いアノテーションが良いアノテーション常にそうか? X-JToBI( 韻律アノテーション ) における韻律境界例 : ある部分でピッチレンジがリセットされているかどうか例 : ある箇所で発話が終了しているかどうか局所的にみた場合と大局的に見た場合で解釈が異なる人間の音声情報処理も同じでは? 分布としてのアノテーション? 41

42 コーパスの解析コーパスデータの特徴多くの場合に計数データ ( ポワソン分布 ) 個人差レジスター差に意味がある非常に多くの要因が関与 ( 交互作用もあたりまえ ) 頻度主義的な統計解析の限界仮説検定ではなく言語運用のモデル構築が重要階層ベイズモデルなどが魅力的ただし言語学者にベイズ統計を教えるのは大変 42

43 まとめ ( のようなもの ) 前半では国立国語研究所における言語資源開発の先駆けといえる話しことば研究と語彙調査の研究を紹介したその後コーパス開発の現状を紹介した後半ではこれからのコーパス開発の課題を論じた当面 ( 少なくとも 10 年程度 ) 国立国語研究所の活動の重点は言語資源開発におかれると思われる開発と解析の両面で言語処理学会と相携えて前進していきたい 43

44 謝辞本発表資料の一部を提供してくださった国語研の山崎誠さん浅原正幸さん丸山岳彦さんに感謝します 44

45 参考文献 Asahara, M., K. Maekawa, M. Imada, S. Kato, and H. Konishi. Archiving and Analysing Techniques of the Ultra-large-scale Wev-based Corpus Project of NINJAL, Japan. Alexandria, 25 (1) in press. Maekawa, K., M. Yamazaki, T. Ogiso, T. Maruyama, H. Ogura, W. Kashino, H. Koiso, M. Yamaguchi, M. Tanaka, and Y. Den. Balanced corpus of contemporary written Japanese. Language Resources and Evaluation 48 (2), pp , Maekawa, K. Corpus-based phonetics. In H. Kubozono (ed.) The Handbook of Japanese Phonetics and Phonology. Mouton 淺原正幸前川喜久雄巻頭言 : コーパスアノテーション新しい可能性と共有化にむけての試み自然言語処理, 21 (2), pp.95-98, 201 前川喜久雄コーパス日本語学の可能性大規模均衡コーパスがもたらすもの日本語科学, 22, pp.13-28, 前川喜久雄形容詞 + です述語の生起要因についての準備的考察, 第 1 回コーパス日本語学ワークショップ予稿集, pp ,2012. 前川喜久雄コーパスの存在意義前川 ( 編 ) コーパス入門 ( 講座日本語コーパス第 1 巻 ) 朝倉書店, 山崎誠国立国語研究所の語彙調査の歴史と課題山崎誠語彙調査の系譜とコーパス前川 ( 編 ) コーパス入門 ( 講座日本語コーパス第 1 巻 ) 朝倉書店,

自然言語処理24_705

自然言語処理24_705 nwjc2vec: word2vec nwjc2vec nwjc2vec nwjc2vec 2 nwjc2vec 7 nwjc2vec word2vec nwjc2vec: Word Embedding Data Constructed from NINJAL Web Japanese Corpus Hiroyuki Shinnou, Masayuki Asahara, Kanako Komiya

言語処理学会創立 20 周年おめでとう ございます /10/7

言語処理学会創立 20 周年おめでとうございます /10/7