Microsoft Word - mltp2.docx

MLTPについて MLTP(MultiLingual Text Processor)は 個 人 研 究 のために 作 成 した 簡 易 ツールで ある 統 計 的 テキスト 解 析 の 勉 強 を 主 な 目 的 とした 方 々のため 無 償 で 本 ツールを 公 開 する 需 要 に 応 じて オープンソース 形 式 でバージョンアップを 行 うことも 念 頭 に 入 れている 使 用 者 は 次 の 条 件 の 全 てを 受 諾 したものと 看 做 する 1. 法 律 上 の 請 求 の 原 因 の 種 類 を 問 わず 本 ソフトの 使 用 によるいかなる 損 害 に 関 し ても 一 切 の 責 任 を 負 わない 2. 営 利 目 的 の 個 人 法 人 団 体 等 が 利 益 を 得 るためのいかなる 直 接 間 接 の 使 用 も 禁 止 する 本 ツールの 主 な 機 能 は 複 数 のテキスト( 日 本 語 中 国 語 韓 国 語 英 語 )について テキスト 単 位 に 文 字 単 語 品 詞 などの 項 目 について 集 計 し 結 果 を 表 形 式 で 出 力 する MLTP は Java 言 語 で 書 かれており jar 形 式 でパッケージ 化 している MLTP のダウンロード(Windows のみで 検 証 されている) (1) 起 動 と 終 了 Zip 形 式 で 圧 縮 されている ダウンロードして 解 答 するとフォルダの 中 に 次 のような 3つのファイルと1つのフォルダがある 図 1 フォルダの 中 の 画 面 コピー MLTP のツールの 本 体 は mltp.jar である マウスで 左 クリックすると MLTP が 起 動 さ れる その 画 面 コピーを 次 に 示 す フォルダ sampl の 中 にはテキストサンプルが 用 意 されている 図 2 MLTP の 起 動 画 面

本 ツールは 中 国 語 韓 国 語 Windows 環 境 も 念 頭 に 入 れているので GUI 上 の 表 記 は 英 語 の 文 字 列 になっている 本 ツールが 扱 う 日 本 語 テキストのデータ 形 式 は 大 きく 分 けると 次 の2 種 類 である (1) タグを 考 慮 しない 一 般 の 電 子 テキスト(これを Plain Text とよぶ) (2) 言 語 の 何 らかの 単 位 にタグ 情 報 を 入 れたテキスト(これを Tagged Text とよぶ) 図 3 PlanText の 例 図 4 タグ 付 き(Tagged Text)の 例 タグは 日 本 語 全 角 の 山 括 弧 で 区 切 る 山 括 弧 の 中 は 自 由 に 記 述 することができる 形 態 素 解 析 ソフト JUMAN や ChaSen の 結 果 は MLTP ツールを 用 いて 上 記 のタグ 付 きの 形 式 に 変 換 することができる コマンドプロンプトから 起 動 することも 可 能 である テキストの 量 が 多 いときには コ マンドプロンプト 上 で 使 用 するメモリを 指 定 する 必 要 がある mltp.jar が 置 かれている フォルダにアクセスし 次 のようにコマンドを 実 行 する > java Xmx500m -jar mltp.jar コマンドの 中 の -Xmx500m は 使 用 するメモリを 500MB に 指 定 するオプションであ る ファイルの 量 が 多 くない 場 合 は -Xmx500m を 省 略 してもよい デフォルトは 256MB が 指 定 されている MLTP の 終 了 は file exit をクリックする 方 法 と 画 面 の 右 上 の 閉 じるボタン の

部 分 をクリックする 方 法 がある (2) ファイルの 読 み 込 み MLTP では 一 般 のテキストファイル(Plain Text)と 品 詞 などのタグが 付 いているファ イル(Tagged Text)についてデータの 集 計 を 行 う デフォルトは Plain Text になっている ファイルの 形 式 は txt 形 式 のみである ファイルの 操 作 を 行 うためには まず 操 作 画 面 の File List タブをクリックする 次 にボタン[Add New Files ] をクリックし ファイルが 置 かれているドライブとフォルダを 指 定 し 解 析 するファイルを 選 択 する 選 択 が 終 わったら [ 開 く]ボタンを 押 すと 選 択 されたファイルが 読 み 込 まれる このように 他 のフォルダのファイルを 読 み 込 み 付 け 加 えることが 可 能 である 図 5 ファイルを 読 み 込 む 画 面 図 6 ファイルが 読 み 込 まれた 画 面

ファイルの 読 み 込 み 作 業 が 終 わったら 操 作 画 面 の [Confirm ] ボタンを 押 し 確 認 作 業 を 行 うことが 必 要 である (3) タブと 機 能 Summary タブ: Summary タブは 読 み 込 んだファイルごとのサイズ 漢 字 の 数 平 仮 名 の 数 片 仮 名 の 数 文 の 数 などのデータを 集 計 する 集 計 結 果 は タブで 区 切 られた 形 式 とカンマで 区 切 られた 形 式 から 選 択 できる 結 果 の 保 存 は Output File の 窓 でフォルダを 指 定 し さらにファイル 名 を 付 け[Save ]ボタンを 押 す n-gram タブ: n-gram タブをクリックすると 図 7に 示 す 操 作 画 面 が 開 かれる n-gram のタイプおよび 出 力 ファイルの 形 式 などは 操 作 画 面 の 右 上 から 順 番 に 行 う まず n-gram のタイプを Ngram Type の 窓 で 指 定 する Unigram から Six-gram まで 集 計 可 能 である 次 に Cutoff 窓 で 値 を 指 定 する この 値 は 出 現 度 数 が 非 常 に 少 な い 項 目 をまとめるための 閾 値 である 例 えば Cutoff 値 を 100 にすると 全 てのテキストにおける 総 度 数 が 100 未 満 である 項 目 は OTHER という 項 目 にまとまる データ 表 のサイズのコントロールに 有 効 であ る 図 7 n-gram タブと 集 計 の 画 面 出 力 データの 形 式 は タブ 区 切 りとカンマ 区 切 りが 選 択 できる 出 力 データの 行 をテ

キストにするときには[in row] 列 をテキストにするには[in column]を 指 定 する 指 定 を 終 えたら [Processing ] ボタンを 押 すと 集 計 が 始 まる 集 計 にかかる 時 間 は 用 いたテキストの 量 と 集 計 する n-gram のタイプに 依 存 する 図 8 のメッセージ 画 面 が 現 れると 集 計 が 成 功 している [ 了 解 ]ボタンを 押 して [Processing Success] 画 面 を 閉 じ 結 果 を 保 存 する 作 業 に 進 む データ 解 析 は デー タ 解 析 の 専 用 ソフトを 用 いることを 前 提 としている 図 8 処 理 結 果 メッセージ Length タブ: Length タブでは 単 語 の 長 さ 文 の 長 さを 集 計 する 品 詞 タグが 付 いていないテキストの 場 合 は 文 の 長 さを 集 計 することができる 文 の 長 さを 計 るとき に 何 文 字 を1つの 項 目 にするかは 自 由 に 設 定 できる 図 9 に5 文 字 を1つの 単 位 と した 文 の 長 さの 分 布 を 求 める 画 面 コピーを 示 す 図 9 文 の 長 さの 分 布 を 求 める 画 面 Mark タブ: Mark タブでは 個 別 の 文 字 やマークを 指 定 し その 前 の 文 字 あ

るいはその 後 の 文 字 に 限 定 した bigram データを 集 計 する 図 10 に 読 点 がどの 文 字 の 後 に 打 たれているかに 関 して 集 計 した Mark タブの 画 面 コピーを 示 す 図 10 Mark タブの 画 面 KWIC タブ: KWIC (クウィック Keyword in Context)タブは 指 定 した 文 字 列 を 検 索 し その 前 後 の 一 定 の 長 さの 文 字 列 を 切 り 取 り 出 力 する テキストサンプルを 読 み 込 み 先 生 をキーワードとし その 前 後 10 文 字 ( 全 角 )を 切 り 取 った 画 面 コピー を 図 11 に 示 す 検 索 結 果 の 表 頭 の Left あるいは Right をマウスで 左 クリックする と 三 角 マークが 現 れる 三 角 マークをクリックすると 結 果 を 昇 順 降 順 にソートする 検 索 結 果 は 保 存 して Excel などに 読 み 込 んで 用 いることが 可 能 である 図 11 KWIC の 画 面

Word List タブ: Word List タブは 単 語 リストを 作 成 し 各 テキストにおける そ の 単 語 の 度 数 を 集 計 する 単 語 リストでは 論 理 演 算 が 用 いられる この 機 能 は 見 かけ 上 異 なる 単 語 を1つのグループにしたいときに 有 効 である Tools タブ: Tools タブには 全 てのテキストについて 文 字 列 の 置 換 JUMAN と 茶 筌 の 形 態 素 解 析 結 果 を MLTP に 用 いる 形 式 に 変 換 する 機 能 文 をランダムサンプ リングするなどの 機 能 を 備 えている 処 理 した 結 果 は 指 定 したフォルダの 中 に 自 動 的 に 元 のファイル 名 で 保 存 される (4) タグ 付 きデータの 集 計 MLTP では 次 に 示 すタグ 付 き txt 形 式 ファイルを 前 提 としている だから< 接 続 詞 > < 読 点 > 高 松 藩 < 人 名 >は< 副 助 詞 > < 読 点 > 徳 川 宗 家 < 人 名 >に< 格 助 詞 >とって< 動 詞 >は< 副 助 詞 > 御 三 家 < 普 通 名 詞 >に< 格 助 詞 > 次 ぐ< 動 詞 > 親 しい< 形 容 詞 > 間 柄 < 普 通 名 詞 >である< 判 定 詞 > < 句 点 > 単 語 文 節 の 後 に 付 けるタグは 全 角 山 括 弧 <>で 囲 む MLTP の Tools タブに は JUMAN 茶 筌 の 形 態 素 解 析 結 果 を 上 記 の 形 式 に 変 換 する 機 能 を 備 えている た だし JUMAN は 図 12 茶 筌 は 図 13 に 示 すようなフォーマットの txt 形 式 ファイルを 前 提 としている 図 12 MLTP で 用 いる JUMAN のフォーマット 図 13 MLTP が 用 いる 茶 筅 のフォーマット

JUMAN 茶 筌 の 出 力 結 果 を MLTP に 用 いる 形 式 に 変 換 する 手 順 を 次 に 示 す MLTP のメニュー Data Format から Targged Text を 指 定 する File List タブから JUMAN 茶 筌 の 形 態 素 解 析 結 果 のファイルを 読 み 込 む Tools タブをクリックし アクティブにする( 図 11 を 参 照 ) Tools タブには 2 つの サブタブ Format Converter と Replacement がある 図 14 Tagged Text の Tools タブの 画 面 サブタブ Format Converter をアクティブにし 形 態 素 解 析 ソフトの 種 類 (Chasen Format, Juman Format)を 指 定 し [Make Replacement List ] ボタンを 押 すと 図 15(a)の 品 詞 選 択 ダイアログボックスが 返 される [Select All ] ボタンを 押 すと 図 15(b)のように 全 ての 品 詞 タグの 前 にチェック 記 号 が 付 けられる 確 認 ボタン [Confirm ]を 押 すと 図 16 のような 結 果 が 返 される 図 15 品 詞 選 択 のダイアログボックス (a) (b)

図 16 品 詞 のタグ 形 式 の 変 換 画 面 形 態 素 解 析 の 品 詞 情 報 は 図 13 の 左 側 に 詳 細 の 品 詞 情 報 と 略 した 品 詞 情 報 を 縦 棒 で 区 切 り 返 す MLTP に 用 いる 品 詞 の 表 記 は この 窓 上 で 縦 棒 の 右 の 文 字 列 を 自 由 に 修 正 入 力 する 例 えば 品 詞 助 詞 - 副 助 詞 / 並 立 助 詞 / 終 助 詞 を 副 並 終 助 詞 にしたいときは 次 のように 記 述 する 助 詞 - 副 助 詞 / 並 立 助 詞 / 終 助 詞 副 助 詞 品 詞 タグを 修 正 した 画 面 コピーを 図 17 に 示 す この 品 詞 タグの 表 記 は 後 に 用 い るため [Save Replacement List ]ボタンを 用 いて 保 存 することが 可 能 である 図 17 品 詞 タグの 表 記 指 定 画 面

図 14 の 状 態 のままで [POS Replacing ] ボタンを 押 すと MLTP で 使 用 可 能 な タグ 付 き txt ファイルが c:\temp の 中 に 保 存 される ファイル 名 は 読 み 込 んだファ イルの 名 前 と 同 じになる ファイルの 保 存 フォルダは Output Path の 窓 で 指 定 する Java とは Java は 一 種 のプログラム 言 語 である Java で 開 発 されたソフトウェアは 特 定 の OS やマイクロプロセッサに 依 存 することなく 基 本 的 にはどのようなプラットフォームでも 動 作 する Java 言 語 は JAVA の 無 料 ダウンロード サイトからダウンロード インスト ールすることができる Jar とは JAR (JavaARchive)は 実 行 可 能 な Java アーカイブである Java では JAR (JavaARchive) という 圧 縮 形 式 で 複 数 のプログラムファイルをパッケージ 化 すること ができる 実 行 可 能 なパッケージとして 作 成 した***.jar ファイルは JRE(Java Runtime Environment) がインストールされている 環 境 であれば ***.jar をクリックす るだけでパッケージが 起 動 する ***.jar は 一 種 の 圧 縮 のファイルであるので 解 凍 す ることもできる したがって 圧 縮 形 式 jar を 解 凍 するソフトがインストールされている 環 境 の 場 合 は ***.jar をクリックすると ***.jar が 起 動 せず 解 凍 される 場 合 がある