新01_今日の講習内容（CSJ・名大）_

Size: px

Start display at page:

Download "新01_今日の講習内容（CSJ・名大）_"

わんどもてぎ
5 years ago
Views:

1 2017/09/07 コーパス利用講習会コース 2: オンライン検索システム中納言講習会対象 : 日本語話し言葉コーパス (CSJ) 名大会話コーパス国立国語研究所言語変化研究領域山崎誠音声言語研究領域柏野和佳子

2 今日の講習内容 10:00-10:05 導入山崎 10:05-10:15 日本語話し言葉コーパス (CSJ), 名大会話コーパス概説山崎 10:15-10:25 コーパスの解析単位柏野 ( 短単位長単位 ) 10:25-10:30 質疑応答 10:30-11:20 中納言概説 + 実習柏野山崎 11:20-11:50 Excelピボットテーブルの活用柏野山崎 11:50-12:00 質疑応答

3 今日の目標 Web インターフェース中納言を使って日本語話し言葉コーパス ( 以降,CSJ) 及び名大会話コーパス ( 以降, 名大 ) の形態論情報を検索できるようになることが目標そのために必要な CSJ, 名大に関する基礎知識を知るとりわけ形態論情報 ( 短単位 ) の知識ダウンロードした検索結果の Excel による処理

4 今日の講習についての注意中納言で検索できるのは形態論情報だけ性別年齢などの話者情報は, 中納言で直接検索することはできないが, ダウンロード後に分析することは可能 CSJ では音声のタイプ ( 学会講演摸擬講演, 独話対話など ) を検索対象として選択が可能統語情報, 複合語の内部構造などは, そもそも CSJ, 名大には付与されていない CSJ, 名大に収録された音声のタイプや話者には偏りがある CSJ は, 独話 ( 学会講演摸擬講演 ) がほとんどで, 対話は非常に少ないまた,CSJ の学会講演は男性,1960~1970 年代生まれが多い名大の話者は女性,20 代 ~40 代, 中部地方出身者が多い

5 コーパスにおける形態論情報の意義日本語形態素自動解析技術は 1990 年頃から実用の域に達しはじめ, Juman, ChaSen, MeCab など優秀な解析器が無償公開されているしかし解析用辞書における語のあつかいが問題

6 Yahoo! IPA JUMAN UniDic 国立国会図書館国立国立国立国会図書館国会国会図書館図書国立国立国立国立公文書館公文書公文書公館館館文書 CSJ 等の短単位用解析辞書であるUniDicは言語学的には首尾一貫しているがやや短めに分割される国立国立国立国立歴史歴史歴史歴史民俗民俗民俗民俗博物館博物館博物博物館館館

7 短単位と長単位による二重解析短単位短単位品詞長単位長単位品詞公害名詞 - 普通名詞 - 一般公害紛争処理法名詞 - 普通名詞 - 一般紛争名詞 - 普通名詞 -サ変可能 CSJ, 名大は現時点では中納言で処理名詞 - 普通名詞 -サ変可能検索できるのは短単位のみ法名詞 - 普通名詞 - 一般に助詞 - 格助詞における助詞 - 格助詞おけ動詞 - 一般る助動詞公害名詞 - 普通名詞 - 一般公害紛争処理名詞 - 普通名詞 - 一般紛争名詞 - 普通名詞 -サ変可能処理名詞 - 普通名詞 -サ変可能の助詞 - 格助詞の助詞 - 格助詞手続名詞 - 普通名詞 -サ変可能手続名詞 - 普通名詞 - 一般は助詞 - 係助詞は助詞 - 係助詞

8 オンライン検索システム中納言講習会日本語話し言葉コーパス (CSJ), 名大会話コーパス概説国立国語研究所言語変化研究領域山崎誠 1

9 概要 1. 日本語話し言葉コーパス (CSJ) とは 2.CSJの構成と内容 3. 名大会話コーパスとは 5. 名大会話コーパスの構成と内容 7. データについて 2

10 1. 日本語話し言葉コーパス (CSJ) とは国立国語研究所情報通信研究機構 ( 旧通信総合研究所 ) 東京工業大学が共同開発 1999 年構築開始,2004 年 6 月公開約 661 時間, 約 753 万語 ( 短単位 ) を収録質量ともに世界最高水準の話し言葉データベース略称 CSJ (Corpus of Spontaneous Japanese) 3

11 1.1.CSJ の特徴音声の公開 ( 以下の URL でサンプル音声が聞ける ) 2 種類の解析単位 ( 短単位と長単位 ) 豊富なアノテーション 4

12 1.2. CSJ の公開方法アカデミック利用 54,000 円 ( 税込 ) ただし, 学生 ( 個人 ) の場合は,27,000 円 ( 税込 ) 一般利用 270,000 円 ( 税込 ) 商業利用 ( 統計情報利用 ) 540,000 円 ( 税込 ) 中納言版 CSJ 無料ただし機能が制限される 5

13 2.CSJ の構成内容 6

14 2.1. 音声のタイプと時間音声のタイプタイプ話者数 ( 異なり ) 講演数時間学会講演独話模擬講演独話 **594 1, その他の講演独話 *** 学会講演インタビュー対話 *(10) 模擬講演インタビュー対話 *(16) 課題指向対話対話 *(16) 自由対話対話 *(16) 再朗読朗読 *(16) 朗読朗読 *(248) 計 1,417 3, *( ) 内は全員が学会講演話者もしくは模擬講演話者としてもカウント **10 名は学会講演話者としてもカウント ***2 名は学会講演話者としてもカウント 7

15 2.2. 形態論的単位数音声のタイプ短単位数長単位数学会講演 3,279,364 2,654,823 模擬講演 3,605,729 3,115,302 その他の講演 282, ,989 朗読と再朗読 207, ,216 対話 149, ,544 全体 7,525,125 6,313,874 中納言の検索結果に表示される語数とは異なる 8

16 2.3. 学会講演理工学, 人文, 社会の 3 領域におよぶ種々の学会における研究発表のライブ録音講演時間は 10 分から 25 分程度が大半学会講演の多くをしめる理工学系の学会では, 男性の大学院生であることが多い発話スタイルは, あらたまり度が高い 9

17 2.4. 摸擬講演できるだけ年齢と性別のバランスをとった一般話者による, 日常的話題についての講演話者の大部分は人材派遣会社からの派遣あらかじめ指定された 3 つのテーマ ( 例えば人生で一番嬉しかったこと人生で一番悲しかったこと私の住んでいる街等 ) に基づいて, 具体的な講演内容を決めてタイトルをつけて話す 1 講演の長さは 10~15 分程度聞き手は 3,4 名であった発話スタイルは, 学会講演よりもくだけている 10

18 2.5. その他の講演研究機関が一般聴衆を対象に企画した連続講演会の講演音声対象は歴史や民俗学など国語研究所が一般聴衆むけに開催した講演会の講演音声, および国語研究所員を聴衆とした識者による講演 (1 講演のみ ) 専門学校における日本語教師養成関係の講義音声 11

19 2.6. 朗読自発的な音声の特徴を明らかにする比較データ朗読音声と再朗読音声の 2 種類朗読音声は模擬講演話者の一部が, 書き言葉のテキストを朗読したもの再朗読音声は, 学会講演ないし模擬講演として収録された音声の転記テキストを同一の話者が朗読した音声フィラーや言い直しも朗読の対象再朗読の話者は, 学会講演話者から選ばれた 10 名と模擬講演話者から選ばれた 6 名の合計 16 名 12

20 2.7. 対話学会講演インタビュー模擬講演インタビュー課題指向対話自由対話の 4 種類インタビューは, 学会講演ないし模擬講演の内容に関する対話形式インタビュアーは 20 代と 30 代の女性各 1 名課題指向対話は, 特定のタスクを与えて行った 2 名の間の対話自由対話では, 話題の制約なしに行った 10 分程度の対話 13

21 2.8. 話者の属性 ( 生年 : 延べ人数 ) 国立国語研究所報告 No.124 日本語話し言葉コーパスの構築法 p.7 14

22 2.9. 話者の属性 : 性別 ( 延べ ) 性別学会講演摸擬講演その他朗読再朗読対話全体女男計

23 2.10. 話者の属性 : 出身地 ( 延べ ) 学会講演摸擬講演その他朗読再朗読対話全体 0% 20% 40% 60% 80% 100% 東京首都圏その他未詳 16

24 2.11.CSJ の付加情報の構造国立国語研究所報告 No.124 日本語話し言葉コーパスの構築法 p.9 17

25 2.12.CSJ コア形態素解析等の付加情報は基本的に自動で行っているが, 人手で解析精度を高め, より多くの付加情報を付与した部分約 50 万語音声のタイプ女性話者男性話者計学会講演摸擬講演対話朗読計

26 3. 名大会話コーパスとは日本語母語話者の 100 時間分の 129 件の会話 ( 雑談 ) を収録して, 文字化したコーパス科学研究費基盤研究 (B)(2) 日本語学習辞書編纂に向けた電子化コーパス利用によるコロケーション研究 ( 平成 13 年度 ~15 年度研究代表者大曽美恵子 ) により作成された音声は公開していない 19

27 3.1. 名大会話コーパスの利用法中納言全文検索システムひまわり / ダウンロード / 名大会話コーパスパッケージ ( 短単位解析済み全データが含まれるオフラインで検索可能 ) 茶漉 ( ちゃこし ) ( 米国パデュー大学の深田淳氏が作成した WEB 検索ツール ) ml 20

28 4. 名大会話コーパスの構成と内容 21

29 4.1. データ 04(35 分収集年月日 :2001 年 10 月 23 場所 : 車中 ( 知立駅より西尾市まで運転者参加者 M018: 男性 20 代前半愛知県半田市出身参加者 F128: 女性 20 代前半愛知県西尾市出身参加者の関係 : 大学時代の部活の友人 F128: いや別にいいよローソンでいいやろちょっと倒していいこれどうよ調子は M018: 何かね ( うん ) ソービジー F128:< 笑い > そうなん何で? M018: 何かせん大学の先生の ( うんうん ) お仕事を頼まれたりするんで ( うんうんうん ) それで何かワープロ打ったりね ( うんうん ) 何か今度留学生が小学校で何か交流会やるもんでその留学生集めてこいとか何か結構ね ( うんうん ) わっけわからん仕事押しつけられる F128: え留学生の世話をしろって? 22

30 4.2. 話者の属性 : 性別と年代年代女性男性総計 10 代代代代代代代 ~ 6 6 不詳 1 1 合計性別では女性, 年代では 20 代 ~40 代が多い 23

31 4.3. 話者の属性 : 出身地出身地人数北海道 11 東北 8 関東 49 中部 86 近畿 21 中国四国 11 九州沖縄 11 海外 1 合計 198 中部地方出身者が多い 24

32 4.4. 話者の属性 : 出身地と居住地地域出身人数居住人数北海道東北 8 1 関東中部近畿 21 7 中国四国 11 1 九州沖縄 11 0 海外 1 2 合計出身も居住も中部地方が多い 25

33 4.5. 話者の属性 : 関係性親しい関係が多い関係件数同級生 51 友人 31 家族 15 先輩 15 同僚 11 初対面 6 知人 5 恋人 4 親族 2 先生 1 合計

34 4.6. 話者の属性 : 場所日常的な場所が多い場所件数飲食店 46 家 30 大学 29 大学の研究室 13 車内 8 職場 2 大学の食堂 2 学校 1 電車内 1 合計

35 4.7. 話者の属性 : 参加者の人数参加者の人数件数 2 人 96 3 人 28 4 人 5 合計 129 2~3 人の少人数の会話が多い 28

36 4.8. 話者の属性 : 収録時間収録時間件数 ~30 分 13 31~60 分 99 61~90 分 16 91~ 分 1 合計分 ~60 分の会話が多い 29

37 4.9. 品詞の割合 ( 延べ語数 ) 30 名詞 17% 代名詞 4% 動詞 11% 形容詞 3% 形状詞 1% 連体詞 1% 副詞 5% 接続詞 1% 感動詞 8% 助詞 33% 助動詞 13% 接頭辞 1% 接尾辞 2% その他 0% 名詞 35% 代名詞 1% 動詞 14% 形容詞 2% 形状詞 1% 連体詞 1% 副詞 2% 接続詞 0% 感動詞 0% 助詞 30% 助動詞 10% 接頭辞 1% 接尾辞 3% 名大会話コーパス現代日本語書き言葉均衡コーパス (BCCWJ)

38 4.10. 上位語順位名大会話 BCCWJ 1ダだ助動詞ノの助詞 - 格助詞 2ウンうん感動詞 - 一般ニに助詞 - 格助詞 3タた助動詞テて助詞 - 接続助詞 4テて助詞 - 接続助詞ハは助詞 - 係助詞 5ネね助詞 - 終助詞ダだ助動詞 6ノの助詞 - 準体助詞ヲを助詞 - 格助詞 7カか助詞 - 副助詞タた助動詞 8トと助詞 - 格助詞スル為る動詞 - 非自立可能 9デで助詞 - 格助詞ガが助詞 - 格助詞 10ノの助詞 - 格助詞トと助詞 - 格助詞 11モも助詞 - 係助詞デで助詞 - 格助詞 12ガが助詞 - 格助詞モも助詞 - 係助詞 13ニに助詞 - 格助詞イル居る動詞 - 非自立可能 14ハは助詞 - 係助詞マスます助動詞 15ナニ何代名詞ノの助詞 - 準体助詞うんねなど会話によく用いられる語が上位に来ている 31

39 5. データについて 32

40 5.1. データの精度形態論情報に基づく解析やアノテーションは基本的に自動的に付与されている CSJ の形態素解析の精度は約 97~98% ( コア部分は約 99.9%) コーパスの分析は, 一定の誤差があることを前提として行う必要がある 33

41 5.2. データの見方比較しようとするデータのサイズが異なる場合出現した生の頻度ではなく,per million word などの相対頻度で比較する必要がある分析の過程がブラックボックスにならないようにすることが望ましい 34

42 参考文献国立国語研究所 (2006) 日本語話し言葉コーパスの構築法 ment.html 35

43 2017/09/07 コーパスの解析単位 ( 短単位長単位 ) 国立国語研究所音声言語研究領域柏野和佳子 1

44 はじめに中納言の短単位検索英語電車魚屋を検索検索結果が表示日本語自転車パン屋を検索検索結果 0 件理由英語電車魚屋は 1 語になっているが, 日本語自転車パン屋は, 2 語に分割されている日本語自転車パン屋 2

45 語 3 コーパスでは, 全てのテキストを語に分割し, それぞれの語に対して, 見出し品詞活用型活用形語種等の情報を付与している検索 : 国語を検索した際に, 検索結果に外国語韓国語等の意図しない結果も含まれるという問題を回避できる分析 : あるテキストの延べ語数異なり語数, 品詞比率, 語種比率, ある語の使用率を調べることができる語の定義は様々であり, 一定しない 1 語国立国語研究所 2 語国立国語研究所 3 語国立国語研究所 4 語国立国語研究所

46 言語単位の設計国立国語研究所を単語に区切る場合, 4 通りの区切り方が考えられるが, どれか一つが正しいというものではない言語単位の認定に関する基準を立て, その基準に基づいて, コーパス全体を不統一のないように語 ( 言語単位 ) に分割することが重要不統一がないとは, 1 同じ語が常に同じに区切られていること例日本語にほんご話し = 合う話し = あう話 = 合う 2 同じ構造の語が常に同じに区切られていること例日本語韓国語中国語自転車自動車人力車動力車国立国語研究所国立科学博物館 4

47 言語単位の設計 5 不統一がある場合の問題 1 語数を正確に把握することができない例オレンジ色 2 語オレンジ色 1 語語種の計量に影響オレンジ色外来語 1, 和語 1 オレンジ色混種語 1 国立国語研究所 4 語国立科学博物館 3 語 ( 国立科学博物館 4 語 ) 品詞の計量に影響国立国語研究所名詞 3, 接尾辞 1 国立科学博物館名詞 3( 国立科学博物館名詞 4 ) 2 全用例を収集するために複数の検索を試みる必要がある例日本語日本語日本 + 語と日本語の検索が必要

48 言語単位の設計中納言では 2 種類の言語単位を使用短単位 (short unit word) 用例収集を目的形態的側面に着目最小単位を結合して認定長単位 (long unit word) 言語的特徴の解明を目的構文的機能に着目文脈に依存意味を持つと考えられる最小の単位文節内を自立語部分と付属語部分に分割して認定 6

49 最小単位現代において意味を持つ最小の単位和語 : / 豊か / な / 暮らし / に / つい / て / / 大雨 / が / 降っ / た / の / で / 漢語 : / 国 / 立 / 国 / 語 / 研 / 究 / 所 / 外来語 : / レーザー / プリンター / / オレンジ / 色 / 記号 : / 図 /A / /J R / 人名 : / 和田 / 豊 / / マット / / マートン / / 林 / 威助 / 地名 : / 大阪 / 府 / 豊中 / 市 / 待兼山町 / / 六甲 / 山 / 7

50 短単位言語の形態的側面に着目して規定した言語単位最小単位を結合させてつくる最小単位の分類ごとに結合方法が決まっている和語漢語 : 最小単位を2つまで結合 ( 結合させなくてもいい ) 外来語 :1 最小単位 =1 短単位など 8

51 短単位認定のための最小単位の分類一般付属要素その他分類例結合方法和語山川白い話す言葉 2つまで結合可漢語社会用研究所 2つまで結合可外来語オレンジボックス結合不可接頭的要素相御 ( お )( ご ) 各結合不可接尾的要素合う致すっぽい性結合不可記号 A B 結合不可数一二十幾数数同士結合可固有名人名星野仙一ジェフ結合不可地名大阪待兼山町六甲結合不可助詞助動詞たですますかから結合不可 9

52 短単位の例最小単位 :/ 白 / 露 / [ 和語 ] [ 和語 ] 結合させる短単位 : 白露 [ 和語 ] 最小単位 :/ 白 / 菊 / [ 和語 ] [ 漢語 ] 短単位 : 白菊 [ 混種語 ] 結合させる 10

53 短単位の例最小単位 : / 右 / 大 / 将 / [ 漢語 ] [ 漢語 ] [ 漢語 ] 3 最小単位の結合となるので不可短単位 : 右大将 [ 漢語 ] [ 漢語 ] 11

54 長単位言語の構文的な機能に着目して規定した言語単位テキストをまず文節に区切るさらに文節内を自立語部分と付属語部分に分割して認定短単位との差接頭辞接尾辞複合語動詞連続など連語 ( トワズガタリオモイノホカ etc.) 複合辞 ( デゴザルテクレル ) リスト化 12

55 長単位 : 短単位との違い合成語を構成要素に分割しない複合辞や連語を 1 長単位として認める 13

56 長単位 : 注意点長単位認定規程に従って分割された全ての語が長単位である複合語派生語複合辞のみが長単位ではなく,1 短単位から成る長単位もある ( 長単位と短単位とが一致する場合がある ) 14

57 冒頭の例例 ) ここは国立国語研究所です短単位 : 国立国語研究所 4 語長単位 : 国立国語研究所 1 語 15

58 長単位の特徴品詞性が明確うれしさ短単位 :[ 形容詞語幹 ] + [ 接尾辞 - 名詞的 ] 長単位 : 名詞哀れ短単位 :[ 名詞 - 普通名詞 - 形状詞可能 ] 長単位 : 形状詞 or 名詞その子も哀れなような気がする滑稽な哀れさ! 名詞用法に基づきどちらかに決定形状詞

59 見出し語を使った検索短単位で認定された語を検索する例 1) 書く書いた書いている書かない活用形によらずまとめて検索したい例 2) ほととぎす郭公時鳥表記によらずまとめて検索したい形態論情報の見出し語を利用した検索一括して検索可能 17

60 見出し語の階層構造語彙素代表となる辞書見出し語形表記の違いを区別書字形発音形語形の変異を区別 ( 音変化活用型 ) 発音の揺れを区別 18

61 矢張り ( ヤハリ ) の階層構造語彙素 ( 語彙素読み ) 語形書字形矢張り発音形やはり矢張り ( ヤハリ ) ヤハリヤハリやっぱりヤハリヤッパリやつぱりヤッパリ 19

62 基本形と出現形基本形 : 活用語の終止形での形語頭変化語末変化していない形出現形 : コーパスの中での実際の形例 1) 文を書いて書字形基本形 : 書く書字形出現形 : 書い例 2) 三匹の犬発音形基本形 : ヒキ発音形出現形 : ビキ書字形と発音形は出現形での検索が可能 20

63 見出し語の情報の付与文字列を短単位 or 長単位の語に区切りそれぞれの語に対して見出し語の情報 ( 語彙素 / 語形 / 書字形 / 発音形 ) を付与表記や語形の揺れ ( バリエーション ) の研究が可能 21

64 検索の注意 1 ( 1 ) 単位境界を理解する検索したい語を, まず [ 文字列検索 ] で検索し, 短単位長単位でどのように分割されているのかを理解する ( 2 ) 同じ文字列でも前後の文字によって短単位境界が変わる場合がある例市内大阪市内観光 N T T 市内通話料金課長経理課長本省課長級職員 22

65 検索の注意 2 ( 3 ) 語彙素語彙素読みの一方を指定しただけでは, 検索対象が一つに定まらない場合がある例語彙素読みアウ会う / 合うミミザワリ耳障り / 耳触りヤサシイ易しい / 優しい語彙素難いガタイ ( 接尾 ) / ニクイ ( 形容 ) 居るイル ( 動 ) / オル ( 動 ) がら空きガラアキ ( 体 ) / ガラスキ ( 体 ) 語彙素の漢字表記は, 国語辞典等を参照して決定したため, 余り目にしない表記となっている場合がある例迚も ( トテモ ) 愈 ( イヨイヨ ) 齎す ( モタラス ) 23

66 中納言概説実習 CSJ 名大会話 2017 年 9 月 7 日修正版ログイン画面コーパス選択画面どれか１つを選ぶ 1

67 検索画面 ( 初期画面 ) 1. 四つの検索方法 ( 一番上の赤で囲んだタブ ) 短単位検索長単位検索文字列検索 } 位置検索 } 形態論情報を使った検索今回主に解説するのは短単位検索形態論情報を使わない検索語の出現位置を指定する検索検索方法の使い分け短単位検索名詞 + 的のような組み合わせ検索で的を一度に検索できる基本的で検索してもヒットしない ( 短単位では基本 + 的 ) 長単位検索基本的でヒットするただし, 基本的人権に含まれる基本的はヒットしない文字列検索単位を気にせずに任意の文字列で検索できる ( たとえばと言ったなど ) 2

語彙素が分からないときに利用すると効果的位置検索 [ 会話 ID],[ 語の開始位置 ] の指定で検索

68 ただし, 自分が検索したいものと一致するとは限らない例 : プリンで検索するとサンプリングチャップリンなどもヒットする語ではなく, 表記を検索するのでおこなうで行うは検索できない語彙素が分からないときに利用すると効果的位置検索 [ 会話 ID],[ 語の開始位置 ] の指定で検索複数の同時検索が可能 ( ひと組ずつの改行が必要 ) 2. 検索の前にやること ( 検索対象の選択, 検索動作の指定 ) 検索対象の選択 3

69 例 : コアを選択コアとは,CSJ の一部で人手により解析精度を高め, 韻律情報, 係り受け構造情報などの付加情報を追加した部分 ( 約 50 万語 ) 検索動作の指定節単位 ( 発話単位 ) 境界をまたぐ / またがない :# で表示される部分をまたいで検索するかどうか 3. 形態論情報を利用した検索今回は短単位検索を例に説明するが, 長単位でも方法は同じ 3.1. 形態論情報利用の長所活用語の一括検索 1 検索例 : 語彙素読む ( 終止形 ) 読ま読み読む読め読もう ( 各活用形 ) 異語形の一括検索 2 検索例 : 語彙素読みヤハリやはりやっぱりやっぱやっぱし異表記の一括検索 (BCCWJ の場合有効 CSJ では異表記は原則ないため関係しない名大会話も異表記はあまりない ) 3 検索例 : 語彙素読みタマネギ玉葱玉ねぎたまねぎタマネギ玉ネギ (CSJ はすべて玉ネギ, 名大会話はすべてタマネギ ) 4

3.2. 形態論情報の階層構造語彙素語形書字形語彙素語形発音形 ( 語彙素読み ) ( 語彙素読み ) 語彙素よむ語彙素コウコウコーコー ( ヨム ) 読むヨムヨメル読む読める ( コウコウ ) 口腔コウクウコークー語彙素 : 辞書の見出しのレベル語形 : 異語形を区別するレベル書字形 : 異表記を区別するレベル (CSJ 名大会話ではあまり関係しない ) 発音形

70 3.2. 形態論情報の階層構造語彙素語形書字形語彙素語形発音形 ( 語彙素読み ) ( 語彙素読み ) 語彙素よむ語彙素コウコウコーコー ( ヨム ) 読むヨムヨメル読む読める ( コウコウ ) 口腔コウクウコークー語彙素 : 辞書の見出しのレベル語形 : 異語形を区別するレベル書字形 : 異表記を区別するレベル (CSJ 名大会話ではあまり関係しない ) 発音形 : 語形の下にあり, 語形を表音的に表す語彙素 ( 見出し語の代表表記 ) が分からないときは文字列検索で検索して確認してみる ( やはり? やっぱり?) ( やはりで検索, 表示される語彙素は矢張り ) 3.3. 検索語の詳細な条件指定形態論情報を使った検索では, 次の画面で検索条件を設定する条件を指定する属性はデフォルトで書字形出現形になっている検索したい属性 ( 語彙素品詞など ) をプルダウンメニューから選び, 右の空欄にその中身を入力する 5

71 ボタンで 1 つの単位について詳細な条件指定を追加できる 4 検索例 : 語彙素読む + 活用形 ( の大分類 ) 連体形活用形など選択肢が決まっている属性はドロップダウンメニューから選択できる注追加される条件は AND 指定 ( この画面上では OR 指定はできない ) 誤った検索例 : 語彙素読む + 語彙素書く用例数 0 件 ( 但し, 検索エラーにはならない ) 短単位条件の追加で追加した条件を削除するには, 検索ボタンの右にある条件クリアをクリック 3.4. 複数単位の組み合わせ ( 共起連接 ) ボタンで前方に出現する単位を指定ボタンで後方に出現する単位を指定キーから or 文頭から N 語 orn 語以内のように, 共起位置を指定可能前方と後方とで合わせて最大 10 個まで共起条件を追加できる 5 検索例 : 言葉を連体修飾する形容詞キー = 品詞形容詞 + 活用形 ( の大分類 ) 連体形後方共起 1( キーから 1 語 )= 語彙素言葉 6

72 集計に使いたいもの ( この場合は形容詞 ) をキーの位置に持ってくるのがコツ検索条件を入力したあとでもボタンでキーの位置を移動できる注係り受け情報はアノテーションされていないので, 離れた場所にあるものを修飾している例は取得できないし, 直後に来ていても必ず修飾しているとは限らない注短単位と長単位を組み合わせた検索はできない 6 検索例 : 修飾表現な言葉品詞 : 形状詞書字形出現形 : な + 語彙素 : 言葉 7

ではじまる心がけ心地 etc. 8 検索例 :[ はがも ] はまたはがまたはも 3.6.

73 3.5. ワイルドカード語彙素などの検索指定では次のワイルドカード ( 記号部分は半角 ) も利用できる % 任意の文字列 0 文字以上の文字列, 何でも良い _ 任意の1 文字 ( 一部利用に制限がある ) [abc] 文字クラス括弧内の文字いずれか一文字 [^abc] 文字クラスの補集合括弧内の文字以外のいずれか一文字 7 検索例 : 心 % 心ではじまる心がけ心地 etc. 8 検索例 :[ はがも ] はまたはがまたはも 3.6. 特殊な検索指定前方後方共起が指定されている場合, キーに隣接する共起条件のキーと結合して表示をチェックすることでキーに隣接する前後条件を含めることができる 9 検索例 : キー = 語彙素的前方 = 品詞固有名詞 ( キーと結合して表示 ) 8

キーを未指定にすることで広く的を検索することも可能 10 検索例 : キー = 未指定

語彙素細分類の四つを指定する必要がある但し語彙素細分類は中納言上は指定できない注可能動詞は (

74 キーを未指定にすることで広く的を検索することも可能 10 検索例 : キー = 未指定後方共起 1 = 語彙素的 ( キーと結合して表示 ) 3.7. 検索にあたっての注意点注語彙素だけでは一意にならない ( 辛いつらいからい ) 語彙素レベルで例外なく完全に一意にするには語彙素語彙素読み品詞語彙素細分類の四つを指定する必要がある但し語彙素細分類は中納言上は指定できない注可能動詞は ( 短単位では ) 語形レベルで定義されている ( 読めるの語彙素は読むだが, 語形はヨメル ) 11 検索例 : 可能表現読める語彙素読めるでなく語形ヨメルを指定 9

検索条件式検索画面で指定した検索条件は, 検索条件式として履歴に記録される検索履歴 ID にチェックを入れ, 編集して検索で再検索ができる 5 の検索履歴この状態で, 下の検索

75 どのように指定したらいいか分からないときは文字列検索で該当する例を検索して確認してみる ( 用例のサンプル ID をクリックすると前後の単位にどのような形態論情報が付与されているか確認できる ) ただし, 語形は表示されないので注意 4. 検索条件式検索画面で指定した検索条件は, 検索条件式として履歴に記録される検索履歴 ID にチェックを入れ, 編集して検索で再検索ができる 5 の検索履歴この状態で, 下の検索ボタンをクリックすると再検索ができる最初の 2 行だけでも検索可能キー : ( 品詞 LIKE " 形容詞 %" AND 活用形 LIKE " 連体形 %") AND 後方共起 : 語彙素 =" 言葉 " ON 1 WORDS FROM キー最小限キー : 語彙素 LIKE " 言葉 " だけでも OK 検索条件式を使うことで, 中納言ユーザーなら誰でも同じ検索を行うことができる研究の再現性のために論文などで使用した検索条件式を明記するとよい 10

76 例えば, 単に言葉を人に修正するなど, 同じ条件で別の語を検索したい場合にも便利に使える検索例 5 の修正版 ( 言葉を人へ ): キー : 品詞 LIKE " 形容詞 %" AND 後方共起 : 語彙素 =" 人 " ON 1 WORDS FROM キー WITH OPTIONS tglkugiri=" " AND tglbunkugiri="#" AND limittoselfsentence="1" AND tglwords="20" AND unit="1" AND encoding="utf-16le" AND endofline="crlf" OR 指定も可能検索例 5 の修正版 ( 言葉または人へ ): キー : 品詞 LIKE " 形容詞 %" AND 後方共起 : ( 語彙素 =" 言葉 " OR 語彙素 =" 人 ") ON 1 WORDS FROM キー WITH OPTIONS tglkugiri=" " AND tglbunkugiri="#" AND limittoselfsentence="1" AND tglwords="20" AND unit="1" AND encoding="utf-16le" AND endofline="crlf" 注 OR, AND は半角大文字で, 前後に半角スペースを入れる, 括弧 () も半角 11

77 5. 検索結果 5.1. 検索結果の表示検索結果は, 見つかった件数と,500 件までの該当例が画面上に表示される 500 件以上ある場合には表示は 500 件まで並び順は無秩序 5.2. 検索結果のダウンロード中納言自身には集計機能はないので, 検索結果をダウンロードして利用する検索画面では 500 例までしか表示されないが, ダウンロード時には最大 10 万件まで一度にダウンロードできる検索画面のダウンロードオプションで, 文字コード等を指定できる 5.3. 検索結果に関する注意共起検索で同じレコードが複数表示されることがあるたとえば, 前方共起条件がキーから 3 語以内にある名詞である場合, 同一のキーから 3 語以内に 2 つの名詞があれば, 同じ ID の行が 2 度表示される並び順は無秩序ランダム性は保証されないランダムサンプリングする際は全件取得後に別途, 並べ替えが必要検索結果が 10 万件以上ある場合,10 万件で切れるダウンロードしたファイルには特に警告がないので注意 12

検索結果をダウンロード開くではなく保存を推奨デフォルトは,kwic-1620452.csv のようなファイル名で保存される 2.

78 6. Excel による集計 6.1. Excel で保存検索結果は, 見つかった件数と,500 件までの該当例が画面上に表示される 500 件以上ある場合には表示は 500 件まで並び順は無秩序 1. 検索結果をダウンロード開くではなく保存を推奨デフォルトは,kwic csv のようなファイル名で保存される 2. 検索結果をインポート注ファイルを開くダイヤログでファイルの種類をテキストファイルまたは全てのファイルにして,1のファイルを表示後, 選択する 1のファイル名を右クリックプログラムから開くエクセルを選択でも可能 12 検索例 : 語彙素一番 ( 同様に, 語彙素最も ) ここは好みで適宜変更するこのオプションは基本的にはデフォルトでよい 13

79 6.2. ピボットテーブルの作成 1. Excelの挿入ピボットテーブル ( 一番左 ) OK 2. 音声のタイプにチェックを入れる 3. 音声のタイプを値のところへドラッグ & ドロップする個数が集計される 4. 性別にチェックを入れる 5. 性別を行ラベルのところへドラッグ & ドロップするクロス集計される 6. 列ラベルを降順にすると, 左から男, 女の順になる 14

80 6.3. ピボットテーブルの保存 1. テーブル全体を選択して, コピーする 2. 別シートを開き, 貼り付けるこのとき, 必ず形式を値にするデータの個数 / 列ラベル行ラベル男女総計対話課題対話学会対話自由対話模擬独話その他独話学会独話再朗読独話模擬総計頻度の処理 1. 粗頻度を調整頻度にする下記を用い, 100 万語あたり調整頻度 (PMW) へ例 : =B19/H19* 音声のタイプ短単位数男女対話課題対話学会対話自由対話模擬独話その他独話学会独話再朗読独話模擬独話朗読総計調整頻度にした結果 (PMW) 音声のタイプ男女総計対話課題対話学会対話自由対話模擬独話その他独話学会独話再朗読独話模擬独話朗読総計

81 6.5. グラフの作成 1. 先の表でグレーの部分を選択する 2. 挿入グラフの縦棒の 100% 積み上げ縦棒を選択する図 1 一番の音声タイプと性別 3. 一番と同様に最もでグラフを作成し, 比較する図 2 最もの音声タイプと性別 16

音声のタイプ最も一番対話課題 98.3 1835.043 対話学会 0.0 482.6588 対話自由 0.0 519.

7086 独話再朗読 120.0 599.964 独話模擬 37.1 753.9637 独話朗読 125.

82 音声のタイプ最も一番対話課題対話学会対話自由対話模擬独話その他独話学会独話再朗読独話模擬独話朗読図 3 一番最もの音声タイプの比較なお, 一番と最もを正確に比較したい場合は, 一番の検索結果より, 名詞の用例を除く必要がある ( 中納言上ではすべて副詞となっているため, 人手処理が必要 ) 17

中納言の使い方凡例検索例 1 注検索例参考情報注意点 1

中納言の使い方凡例検索例 1 注検索例参考情報注意点 1 中納言の使い方凡例検索例 1 注検索例参考情報注意点 1 1. 3つの検索方法 ( 一番上のタブ ) 短単位検索 } 形態論情報を使った検索長単位検索文字列検索 } 形態論情報を使わない検索 3つの検索方法の使い分け短単位検索国名 + 語のような組み合わせ検索で語を一度に検索できる日本語で検索してもヒットしない( 短単位では日本 + 語 ) 長単位検索日本語でヒットする