中納言の使い方凡例検索例 1 注検索例参考情報注意点 1

Size: px

Start display at page:

Download "中納言の使い方凡例検索例 1 注検索例参考情報注意点 1"

せとかあさぶき
4 years ago
Views:

1 中納言の使い方凡例検索例 1 注検索例参考情報注意点 1

2 1. 3つの検索方法 ( 一番上のタブ ) 短単位検索 } 形態論情報を使った検索長単位検索文字列検索 } 形態論情報を使わない検索 3つの検索方法の使い分け短単位検索国名 + 語のような組み合わせ検索で語を一度に検索できる日本語で検索してもヒットしない( 短単位では日本 + 語 ) 長単位検索日本語でヒットするただし日本語研究日本語教育を含めるには日本語 % ( 日本語で始まるもの ) とする必要がある文字列検索単位を気にせずに文字列で検索できる ( たとえば日本語の研究など ) あくまでも検索対象は表記なので日本ではにっぽんにヒットしない 2. 形態論情報を利用した検索 2.1. 形態論情報利用の長所活用語の一括検索検索例 1 語彙素読む ( 終止形 ) 読ま読み読む読め読もう ( 各活用形 ) 異表記の一括検索検索例 2 語彙素読みタマネギ玉葱玉ねぎたまねぎタマネギ玉ネギ異語形の一括検索検索例 3 語彙素読みコミュニケーションコミュニケーションコミニュケーションコミニケーション 2

3 2.2. 形態論情報の階層構造 BCCWJ の形態論情報の見出し語は次のような階層構造を持っている (UniDic の見出し階層 ) 語彙素語形書字形 ( 語彙素読み ) やはりヤハリヤハリ矢張り ( ヤハリ ) ヤッパリ矢張りやっぱりヤッパリヤッパヤッパ語彙素 : 辞書の見出しのレベル語形 : 異語形を区別するレベル書字形 : 異表記を区別するレベル ( 発音形は省略 ) 語彙素 ( 見出し語の代表表記 ) が分からないときは文字列検索で検索して確認してみる ( たまねぎ? タマネギ? 玉葱? たまねぎで文字列検索表示される語彙素玉葱を見て確認 ) 2.3. 検索語の条件指定形態論情報を使った検索では次の画面で検索条件を設定する --- 選択 --- とある部分で条件指定する属性 ( 語彙素出現書字形など ) を選び右の空欄でその中身を指定する 3

4 ボタンで一つの単位について詳細な条件指定を追加できる検索例 4 語彙素読む + 活用形 ( の大分類 ) 連体形 ( 活用形など選択肢が決まっているものはドロップダウンメニューから選択する ) 注ここで追加される条件は AND 指定 ( この画面上では OR 指定はできない ) 誤った検索例 : 語彙素読む + 語彙素書くエラー 2.4. 複数単位の組み合わせ ( 共起連接 ) ボタンでキーの前方に出現する単位を指定ボタンでキーの後方に出現する単位を指定キーから or 文頭から N 語 or N 語以内のように共起位置を指定可能前方後方合わせて最大 10 個まで共起条件を追加できる検索例 5 言葉を連体修飾する形容詞キー = 品詞形容詞 + 活用形 ( の大分類 ) 連体形後方共起 1( キーから 1 語 )= 語彙素言葉集計に使いたいもの ( この場合は形容詞 ) をキーの位置に持ってくるのがコツ条件指定を入力したあとでもボタンでキーの位置を移動できる 4

5 注係り受け情報はアノテーションされていないので離れた場所にあるものを修飾している例は取得できないし直後に来ていても必ず修飾しているとは限らない注短単位と長単位を組み合わせた検索はできない 2.5. ワイルドカード語彙素などの検索指定では通常の文字の代わりに次のワイルドカードが利用できる % 任意の文字列 0 文字以上の文字列何でも良い _ 任意の 1 文字なにか 1 文字何でも良い [abc] 文字クラス括弧内の文字いずれか一文字 [a-c] a~c の文字いずれか一文字検索例 6 飛び % 飛びではじまる飛び込む飛び入り etc. 検索例 7 [ 光風 ] 景光景または風景 _% で 1 文字以上の任意の文字列を表せる 2.6. 特殊な検索指定キーを指定しない検索前方後方共起が指定されている場合のキーに限りキーを未指定をチェックすることにより条件指定なしで検索することができる 5

語彙素細分類の4つを指定する必要がある注可能動詞は語形レベルで定義されている ( 読めるの語彙素は読む ) 2.8.

6 KWIC 中のキーの範囲変更前方後方共起が指定されている場合キーに隣接する共起条件のキーと結合して表示をチェックすることで KWIC のキーに隣接する前後条件を含めることができる 2.7. 検索にあたっての注意点注語彙素の指定だけでは一意に決まらない場合がある( 例 : 市場いちばしじょう ) 注語彙素レベルで例外なく一意にするには語彙素語彙素読み品詞語彙素細分類の4つを指定する必要がある注可能動詞は語形レベルで定義されている ( 読めるの語彙素は読む ) 2.8. その他の検索例検索例 8 可能動詞書ける検索例 9 大きな + 名詞 ( コアのみ対象 ) 検索例 10 奇麗な + 名詞 ( コアのみ対象 ) どう指定したらいいか分からないときは文字列検索で該当する例を検索して確認してみる ( 用例のサンプル ID をクリックすると前後の単位にどのような形態論情報が付与されているか確認できる ) 6

3. 検索条件式検索画面で指定した検索条件は検索条件式として履歴に記録される ( 履歴で検索で再検索可能 ) 検索例 5

語彙素 = " 言葉 " ON 1 WORDS FROM キー WITH OPTIONS unit="1" AND

tglkugiri=" " AND encoding="utf-8" AND tglfixvariable="2" 検索条件式

7 3. 検索条件式検索画面で指定した検索条件は検索条件式として履歴に記録される ( 履歴で検索で再検索可能 ) 検索例 5 の検索条件式 : キー : ( 品詞 LIKE " 形容詞 %" AND 活用形 LIKE " 連体形 %") AND 後方共起 : 語彙素 = " 言葉 " ON 1 WORDS FROM キー WITH OPTIONS unit="1" AND tglwords="20" AND limittoselfsentence="0" AND endofline="crlf" AND tglkugiri=" " AND encoding="utf-8" AND tglfixvariable="2" 検索条件式を使うことで中納言ユーザーなら誰でも同じ検索を行うことができる研究の再現性のために論文などで使用した検索条件式を明記するとよい検索条件式を修正することで OR 指定も可能 7

8 検索例 5 の修正版 ( 言葉または言語 ): キー : ( 品詞 LIKE " 形容詞 %" AND 活用形 LIKE " 連体形 %") AND 後方共起 : ( 語彙素 = " 言葉 " OR 語彙素 = " 言語 " ) ON 1 WORDS FROM キー WITH OPTIONS unit="1" AND tglwords="20" AND limittoselfsentence="0" AND endofline="crlf" AND tglkugiri=" " AND encoding="utf-8" AND tglfixvariable="2" 複数の検索条件式を並べて検索すると一括して検索ダウンロードすることができる ( この際検索結果は zip 圧縮される ) 4. 検索結果 4.1. 検索結果の表示検索結果は見つかった件数と 500 件までの該当例が画面上に表示される 500 件以上ある場合には表示は 500 件まで並び順は無秩序 4.2. 検索結果の表示項目前後文脈 (KWIC) 前文脈キー後文脈形態論情報語彙素読み語彙素語彙素細分類語形品詞活用型活用形書字形発音形出現形語種原文文字列コーパス情報サンプル ID 連番サブコーパス名コア固定長可変長出典情報執筆者生年代性別ジャンル書名/ 出典副題/ 分類巻号編著者等出版者出版年画面上の列の表示でチェックボックスをオンオフすることでリアルタイムで表示を切り替えられるダウンロード時には以上の全ての項目に反転前文脈を加えたデータがダウンロードされる ( 列の表示とは無関係) 8

9 4.3. 検索結果のダウンロード中納言自身には集計機能はないので検索結果をダウンロードして利用する検索画面では 500 例までしか表示されないがダウンロード時には最大 10 万件まで一度にダウンロードできる検索画面のダウンロードオプションで文字コード等を指定できる使っているパソコンに合わせて自動選択されるが自分で変更することも可能そのまま Excel に読み込ませる場合はシステム Excel(Windows) が便利 4.4. 検索結果に関する注意注共起検索で同じレコードが複数表示されることがあるたとえば前方共起条件がキーから3 語以内にある名詞である場合同一のキーから3 語以内に2つの名詞があれば同じ ID の行が2 度表示される注並び順は無秩序ランダム性は保証されないランダムサンプリングする際は全件取得後に別途並べ替えを注検索結果が 10 万件以上ある場合 10 万件で切れるダウンロードしたファイルには特に警告がないので注意 9

10 5. Excel による集計 ( ピボットテーブル ) 5.1. Excel での集計の流れ 1. 検索結果をダウンロード解凍注複数検索時など検索結果ファイルが zip 圧縮されている場合はダウンロード完了後自分で解凍してテキストファイルを取り出しておく 2. 検索結果のインポート注ファイルを開くダイアログでファイルの種類をテキストファイルまたは全てのファイルにして選択する注ダウンロードオプションでシステム Excel(Windows) にしておけばドラッグアンドドロップで開ける 3. ピボットテーブルの挿入 4. ピボットテーブルの作成集計 5. ピボットグラフの作成 5.2. ピボットテーブルユーザーの指示により動的にクロス集計表を作る機能 Excel2007 以降では挿入タブ左端のボタンをクリック ( バージョンによって大きく違う ) 10

11 ピボットテーブルの作り方 1. 作りたい集計表の形をイメージタマネギ玉ネギ玉葱書籍新聞ブログ : 出現数 = キーの個数表記バリエーション = キーの文字列テキストの種類 = レジスター 2. イメージに合わせて行ラベル / 列ラベルをドラッグアンドドロップで指定 ( ドロップすべき場所はイメージした表と位置関係が同じ ) 3. これだけで自動的に集計表ができる 4. ピボットグラフボタンでグラフ化 11

12 100% 80% 60% 40% 玉葱 20% 玉ねぎ 0% 生産雑誌生産書籍生産新聞非母集団ブログ非母集団ベストセ非母集団韻文非母集団教科書非母集団広報誌非母集団国会会議録非母集団知恵袋非母集団白書流通書籍玉ネギたまねぎタマネギ ( 割合を見るため 100% 積み上げ棒グラフで表示 ) 5.3. 二つ以上の検索結果をまとめる 2 回以上の検索結果を扱う場合一つの表にまとめておくと集計が容易になる 1. それぞれの検索結果をコピーし一つの表の下に続けて貼っていく貼り付ける際余分な列名の行 ( ヘッダー ) は削除する 2. ピボットテーブルを作り語彙素を使って集計表の結合イメージヘッダー検索結果 1 検索結果 2 集計に必要な列を自分で追加しておけばその列も集計に使えるヘッダー既存の列 ( 語彙素など ) ではどの検索結果か区別できない場合は 2 つを区別するための列をあらかじめ追加しておく列の追加イメージ集計用の列検索結果 1 検索結果 2 12

新01_今日の講習内容（CSJ・名大）_

新01_今日の講習内容（CSJ・名大）_ 2017/09/07 コーパス利用講習会コース 2: オンライン検索システム中納言講習会対象 : 日本語話し言葉コーパス (CSJ) 名大会話コーパス国立国語研究所言語変化研究領域山崎誠音声言語研究領域柏野和佳子今日の講習内容 10:00-10:05 導入山崎 10:05-10:15 日本語話し言葉コーパス (CSJ), 名大会話コーパス概説山崎 10:15-10:25 コーパスの解析単位

中納言 の使い方 凡例 検索例 1 注 検索例 参考情報 注意点 1

中納言の使い方凡例検索例 1 注検索例参考情報注意点 1