MQL4 と外部アプリの連携 ;( その 2) 別稿 2 amenbo the 3rd (C) 2011 amenbo the 3rd 構成要素別プログラム ; 日本語形態素解析プログラム ( 例 ) 本稿では テキスト データを形態素に分解する一番簡単と思われる 手法 を解説

Transcription

1 MQL4 と外部アプリの連携 ;( その 2) 別稿 2 amenbo the 3rd 構成要素別プログラム ; 日本語形態素解析プログラム ( 例 ) 本稿では テキスト データを形態素に分解する一番簡単と思われる 手法 を解説します 読者が 本稿を核 ( ベース ) として更に高度な方法を身に着けることを期待します (Python コード ( 文法 ) の解説はしません WEB 上に豊富にある情報を参照ください ) 目次 1.Python 用モジュール追加 P1 2. 基礎の基礎 (Python プログラム ) (1) プログラム例 -1 P2 (2) 実行結果 P3 (3) 概要解説 P4 3. テキスト ファイルのデータ解析 (Python プログラム ) (1) プログラム例 -2 P4 (2) 実行結果 P7 (3) 概要解説 P11 1.Python 用モジュール追加 本稿で使う日本語形態素解析用のライブラリは janome( 蛇の目 ) です 色々なライブラリがありますが インストールが簡単なので選びました コマンドプロンプト ( コンソール ) 上 python への path が通る場所 ( フォルダー ) で下記の pip コマンドを使いインストールします pip install janome 上記のコマンドを実行すると PyPI サイト (PyPI-the Python Package Index) に登録された janome ライブラリを Python にインストールします 通常のインストール先は (python のインストール先 )/Lib/site-packages フォルダです janome; 日本語形態素解析 用のライブラリです Janome の詳細は 下記を参照ください 他にも WEB 上に情報が多々ありますので 興味のある方は調査すると面白いです 1/13

2 2. 基礎の基礎 (Python プログラム ) (1) プログラム例 -1 [text_mining_01.py] # -*- coding: utf-8 -*- Created on Tue Mar 20 23:39: amenbo from janome.tokenizer import Tokenizer #t=tokenizer()# ケース1 t=tokenizer("user_simpledic.csv",udic_type="simpledic",udic_enc="utf8")# ケース2 ''' utf8 で作ったユーザー辞書を使う場合 terapad 等でテキスト.txt として作成してから.csv に変える ''' for token in t.tokenize(' 日経平均先物や為替とビットコインの間に関連性 つまり相関はあるのでしょうか '): print(token) ケース 1 と ケース 2 は どちらかの # を外して動作させてください ケース 1 と ケース 2 では動作が若干異なります # 記号より後ろの 1 行分 ( 文字 ) はコメントと見なされます ユーザー辞書 ;( 本稿では 簡易版の辞書としました ) [user_simpledic.csv] 日経平均先物, カスタム名詞, ニッケイヘイキンサキモノビットコイン, カスタム名詞, ビットコイン関連性, カスタム名詞, カンレンセイ 作成方法 ; 辞書は 文字コード ;utf-8 で作っておくほうが無難です TeraPad などで 文字コード を utf-8 に指定して 内容を書込み後に一旦 user_simpledic.txt として保存します その後 拡張子を.txt から.csv に変更して作成します このファイルは本稿では text_mining_01.py と同一の場所 ( フォルダー中 ) に置いています 2/13

3 (2) 実行結果 ケース1 の場合 t=tokenizer()# ケース1 を活かす日経名詞, 固有名詞, 組織,*,*,*, 日経, ニッケイ, ニッケイ平均名詞, サ変接続,*,*,*,*, 平均, ヘイキン, ヘイキン先物名詞, 一般,*,*,*,*, 先物, サキモノ, サキモノや助詞, 並立助詞,*,*,*,*, や, ヤ, ヤ為替名詞, 一般,*,*,*,*, 為替, カワセ, カワセと助詞, 並立助詞,*,*,*,*, と, ト, トビット名詞, 一般,*,*,*,*, ビット, ビット, ビットコイン名詞, 一般,*,*,*,*, コイン, コイン, コインの助詞, 連体化,*,*,*,*, の, ノ, ノ間名詞, 一般,*,*,*,*, 間, マ, マに助詞, 格助詞, 一般,*,*,*, に, ニ, ニ関連名詞, サ変接続,*,*,*,*, 関連, カンレン, カンレン性名詞, 接尾, 一般,*,*,*, 性, セイ, セイ 記号, 読点,*,*,*,*,,, つまり接続詞,*,*,*,*,*, つまり, ツマリ, ツマリ相関名詞, サ変接続,*,*,*,*, 相関, ソウカン, ソーカンは助詞, 係助詞,*,*,*,*, は, ハ, ワある動詞, 自立,*,*, 五段 ラ行, 基本形, ある, アル, アルの名詞, 非自立, 一般,*,*,*, の, ノ, ノでしょ助動詞,*,*,*, 特殊 デス, 未然形, です, デショ, デショう助動詞,*,*,*, 不変化型, 基本形, う, ウ, ウか助詞, 副助詞 / 並立助詞 / 終助詞,*,*,*,*, か, カ, カ ケース2 の場合 t=tokenizer("user_simpl c="utf8")# ケース2 を活かす日経平均先物カスタム名詞,*,*,*,*,*, 日経平均先物, ニッケイヘイキンサキモノ, ニッケイヘイキンサキモノや助詞, 並立助詞,*,*,*,*, や, ヤ, ヤ為替名詞, 一般,*,*,*,*, 為替, カワセ, カワセと助詞, 並立助詞,*,*,*,*, と, ト, トビットコインカスタム名詞,*,*,*,*,*, ビットコイン, ビットコイン, ビットコインの助詞, 連体化,*,*,*,*, の, ノ, ノ間名詞, 一般,*,*,*,*, 間, マ, マに助詞, 格助詞, 一般,*,*,*, に, ニ, ニ関連性カスタム名詞,*,*,*,*,*, 関連性, カンレンセイ, カンレンセイ 記号, 読点,*,*,*,*,,, つまり接続詞,*,*,*,*,*, つまり, ツマリ, ツマリ相関名詞, サ変接続,*,*,*,*, 相関, ソウカン, ソーカンは助詞, 係助詞,*,*,*,*, は, ハ, ワある動詞, 自立,*,*, 五段 ラ行, 基本形, ある, アル, アルの名詞, 非自立, 一般,*,*,*, の, ノ, ノでしょ助動詞,*,*,*, 特殊 デス, 未然形, です, デショ, デショう助動詞,*,*,*, 不変化型, 基本形, う, ウ, ウか助詞, 副助詞 / 並立助詞 / 終助詞,*,*,*,*, か, カ, カ 3/13

4 (3) 概要解説 # -*- coding: utf-8 -*- Spyder で [ ファイル ]-[ 新規ファイル ] を選択すると 作成される python プログラム ファイ ルに自動的に書き込まれているコードです プログラムの文字コードが UTF-8 に指定されています Created on Tue Mar 20 23:39: amenbo と で囲まれた部分は コメントとして処理されます [text_mining_01.py] 部分は 小生が追記しましたが 他はファイル作成時に自動的に作成されたものです from janome.tokenizer import Tokenizer 1 #t=tokenizer()# ケース1 2-1 t=tokenizer("user_simpledic.csv",udic_type="simpledic",udic_enc="utf8")# ケース pip でインストール済の janome ライブラリから 日本語形態素 分析用の Tokenizer パッケージをインポートします 2-1( ケース 1)Tokenizer のオブジェクトを作成します 2-2( ケース 2)Tokenizer のオブジェクトを作成するのは同じですが janome 備え付け辞書以外に ユーザー辞書 ( 簡易版 文字コードは utf-8) も使う事を指定しています ''' utf8 で作ったユーザー辞書を使う場合 terapad 等でテキスト.txt として作成してから.csv に変える ''' これはコメントです for token in t.tokenize(' 日経平均先物や為替とビットコインの間に関連性 つまり相関はある のでしょうか '): 3 print(token) 4 3 tokenizer() メソッドに 形態素 解析したい文字列 '*** ' を渡しています 4 形態素 解析した結果をプリント ( 表示 ) します 4/13

5 3. テキスト ファイルのデータ解析 (Python プログラム ) (1) プログラム例 -2 [text_mining_02.py] # -*- coding: utf-8 -*- Created on Thu Mar 22 22:19: amenbo # python 解析器 janome をインポート - 1 from janome.tokenizer import Tokenizer # 形態素解析用オブジェクトの生成 - 2 text = Tokenizer() # txt ファイルからデータの読み込み - 3 text_file = open("text_1.txt")# ファイルは shift-jis で動作 #text_file = open("text_1.txt",encoding="utf-8")# ファイルもUTF-8にしているこの場合も動作 OK bindata = text_file.read() txt = bindata #print(txt) # 動作 OK # txt から読み込んだデータを形態素解析 - 4 #lines = txt.split("\r\n")# なんか うまく行かない lines = txt.split("\n") for i in lines: print(i) text_c = text.tokenize(i) for j in text_c: print(j) print(" ") 5/13

6 # テキストを一行ごとに処理 - 5 word_dic = {} #lines_1 = txt.split("\r\n")# 何か 上手く分離できない lines_1 = txt.split("\n") print(lines_1) for line in lines_1: malist = text.tokenize(line) #print(malist) for w in malist: word = w.surface #print(word) ps = w.part_of_speech # 品詞 - 6 re=w.reading # 読み print("word:%s \t ps:%s \t re:%s" %(word,ps,re)) if ps.find(" 名詞 ") < 0: continue # 名詞だけをカウント - 7 if not word in word_dic: word_dic[word] = 0 word_dic[word] += 1 print(" ") print("word_dic の中身 : \n") print(word_dic) print(" ") print(" 名刺の使用頻度 : \n") # よく使われる単語を表示 - 8 keys = sorted(word_dic.items(), key=lambda x:x[1], reverse=true) for word, cnt in keys[:50]: print("{0}({1}) ".format(word,cnt), end="") 6/13

7 [text_1.txt] 私の名前はアメンボです 住まいは狛江市ですが国領駅の方が近いです 今 テキストマイニングの練習をしています 趣味は 地域活動 と MQL4 原語による プログラミング です 貴方の名前は お住まいは何所ですか 最寄り駅は何所ですか 国領駅から近いですか? お仕事と趣味を教えてください ところで投資には興味がありますか 作成方法 ; 本稿では 敢て shift-jis で作ってみました utf-8 でも当然 問題ありません (2) 実行結果 ユーザー辞書を設定していないので 一部は不自然な形態素に分解されています 例 ; 狛江市 国領駅 MQL 4 など 私の名前はアメンボです 私名詞, 代名詞, 一般,*,*,*, 私, ワタシ, ワタシの助詞, 連体化,*,*,*,*, の, ノ, ノ名前名詞, 一般,*,*,*,*, 名前, ナマエ, ナマエは助詞, 係助詞,*,*,*,*, は, ハ, ワアメンボ名詞, 一般,*,*,*,*, アメンボ, アメンボ, アメンボです助動詞,*,*,*, 特殊 デス, 基本形, です, デス, デス 住まいは狛江市ですが国領駅の方が近いです 住まい名詞, 一般,*,*,*,*, 住まい, スマイ, スマイは助詞, 係助詞,*,*,*,*, は, ハ, ワ狛江名詞, 固有名詞, 地域, 一般,*,*, 狛江, コマエ, コマエ市名詞, 接尾, 地域,*,*,*, 市, シ, シです助動詞,*,*,*, 特殊 デス, 基本形, です, デス, デスが助詞, 接続助詞,*,*,*,*, が, ガ, ガ国領名詞, 固有名詞, 地域, 一般,*,*, 国領, コクリョウ, コクリョー駅名詞, 接尾, 地域,*,*,*, 駅, エキ, エキの助詞, 連体化,*,*,*,*, の, ノ, ノ方名詞, 非自立, 一般,*,*,*, 方, ホウ, ホーが助詞, 格助詞, 一般,*,*,*, が, ガ, ガ近い形容詞, 自立,*,*, 形容詞 アウオ段, 基本形, 近い, チカイ, チカイです助動詞,*,*,*, 特殊 デス, 基本形, です, デス, デス 今 テキストマイニングの練習をしています 今名詞, 副詞可能,*,*,*,*, 今, イマ, イマ 記号, 読点,*,*,*,*,,, テキスト名詞, 一般,*,*,*,*, テキスト, テキスト, テキストマイニング名詞, サ変接続,*,*,*,*, マイニング, マイニング, マイニングの助詞, 連体化,*,*,*,*, の, ノ, ノ練習名詞, サ変接続,*,*,*,*, 練習, レンシュウ, レンシューを助詞, 格助詞, 一般,*,*,*, を, ヲ, ヲし動詞, 自立,*,*, サ変 スル, 連用形, する, シ, シ 7/13

8 て助詞, 接続助詞,*,*,*,*, て, テ, テい動詞, 非自立,*,*, 一段, 連用形, いる, イ, イます助動詞,*,*,*, 特殊 マス, 基本形, ます, マス, マス 趣味は 地域活動 と MQL4 原語による プログラミング です 趣味名詞, 一般,*,*,*,*, 趣味, シュミ, シュミは助詞, 係助詞,*,*,*,*, は, ハ, ワ 記号, 括弧開,*,*,*,*,,, 地域名詞, 一般,*,*,*,*, 地域, チイキ, チイキ活動名詞, サ変接続,*,*,*,*, 活動, カツドウ, カツドー 記号, 括弧閉,*,*,*,*,,, と助詞, 格助詞, 引用,*,*,*, と, ト, ト MQL 名詞, 一般,*,*,*,*,MQL,*,* 4 名詞, 数,*,*,*,*,4,*,* 原語名詞, 一般,*,*,*,*, 原語, ゲンゴ, ゲンゴによる助詞, 格助詞, 連語,*,*,*, による, ニヨル, ニヨル 記号, 括弧開,*,*,*,*,,, プログラミング名詞, サ変接続,*,*,*,*, プログラミング, プログラミング, プログラミング 記号, 括弧閉,*,*,*,*,,, です助動詞,*,*,*, 特殊 デス, 基本形, です, デス, デス 貴方の名前は 貴方名詞, 代名詞, 一般,*,*,*, 貴方, アナタ, アナタの助詞, 連体化,*,*,*,*, の, ノ, ノ名前名詞, 一般,*,*,*,*, 名前, ナマエ, ナマエは助詞, 係助詞,*,*,*,*, は, ハ, ワ お住まいは何所ですか 最寄り駅は何所ですか 国領駅から近いですか? お接頭詞, 名詞接続,*,*,*,*, お, オ, オ住まい名詞, 一般,*,*,*,*, 住まい, スマイ, スマイは助詞, 係助詞,*,*,*,*, は, ハ, ワ何名詞, 代名詞, 一般,*,*,*, 何, ナニ, ナニ所名詞, 接尾, 一般,*,*,*, 所, ショ, ショです助動詞,*,*,*, 特殊 デス, 基本形, です, デス, デスか助詞, 副助詞 / 並立助詞 / 終助詞,*,*,*,*, か, カ, カ 記号, 読点,*,*,*,*,,, 最寄り駅名詞, 一般,*,*,*,*, 最寄り駅, モヨリエキ, モヨリエキは助詞, 係助詞,*,*,*,*, は, ハ, ワ何名詞, 代名詞, 一般,*,*,*, 何, ナニ, ナニ所名詞, 接尾, 一般,*,*,*, 所, ショ, ショです助動詞,*,*,*, 特殊 デス, 基本形, です, デス, デスか助詞, 副助詞 / 並立助詞 / 終助詞,*,*,*,*, か, カ, カ 記号, 読点,*,*,*,*,,, 国領名詞, 固有名詞, 地域, 一般,*,*, 国領, コクリョウ, コクリョー駅名詞, 接尾, 地域,*,*,*, 駅, エキ, エキから助詞, 格助詞, 一般,*,*,*, から, カラ, カラ近い形容詞, 自立,*,*, 形容詞 アウオ段, 基本形, 近い, チカイ, チカイです助動詞,*,*,*, 特殊 デス, 基本形, です, デス, デスか助詞, 副助詞 / 並立助詞 / 終助詞,*,*,*,*, か, カ, カ? 記号, 一般,*,*,*,*,?,?,? お仕事と趣味を教えてください ところで投資には興味がありますか お仕事と趣味 接頭詞, 名詞接続,*,*,*,*, お, オ, オ名詞, サ変接続,*,*,*,*, 仕事, シゴト, シゴト助詞, 並立助詞,*,*,*,*, と, ト, ト名詞, 一般,*,*,*,*, 趣味, シュミ, シュミ 8/13

9 を助詞, 格助詞, 一般,*,*,*, を, ヲ, ヲ教え動詞, 自立,*,*, 一段, 連用形, 教える, オシエ, オシエて助詞, 接続助詞,*,*,*,*, て, テ, テください動詞, 非自立,*,*, 五段 ラ行特殊, 命令 i, くださる, クダサイ, クダサイ 記号, 読点,*,*,*,*,,, ところで接続詞,*,*,*,*,*, ところで, トコロデ, トコロデ投資名詞, サ変接続,*,*,*,*, 投資, トウシ, トーシに助詞, 格助詞, 一般,*,*,*, に, ニ, ニは助詞, 係助詞,*,*,*,*, は, ハ, ワ興味名詞, 一般,*,*,*,*, 興味, キョウミ, キョーミが助詞, 格助詞, 一般,*,*,*, が, ガ, ガあり動詞, 自立,*,*, 五段 ラ行, 連用形, ある, アリ, アリます助動詞,*,*,*, 特殊 マス, 基本形, ます, マス, マスか助詞, 副助詞 / 並立助詞 / 終助詞,*,*,*,*, か, カ, カ [' 私の名前はアメンボです ', ' 住まいは狛江市ですが国領駅の方が近いです ', ' 今 テキストマイニングの練習をしています ', ' 趣味は 地域活動 と MQL4 原語による プログラミング です ', ' 貴方の名前は ', ' お住まいは何所ですか 最寄り駅は何所ですか 国領駅から近いですか?', ' お仕事と趣味を教えてください ところで投資には興味がありますか '] word: 私 ps: 名詞, 代名詞, 一般,* re: ワタシ word: の ps: 助詞, 連体化,*,* re: ノ word: 名前 ps: 名詞, 一般,*,* re: ナマエ word: アメンボ ps: 名詞, 一般,*,* re: アメンボ word: ps: 記号, 句点,*,* re: word: 住まい ps: 名詞, 一般,*,* re: スマイ word: 狛江 ps: 名詞, 固有名詞, 地域, 一般 re: コマエ word: 市 ps: 名詞, 接尾, 地域,* re: シ word: が ps: 助詞, 接続助詞,*,* re: ガ word: 国領 ps: 名詞, 固有名詞, 地域, 一般 re: コクリョウ word: 駅 ps: 名詞, 接尾, 地域,* re: エキ word: の ps: 助詞, 連体化,*,* re: ノ word: 方 ps: 名詞, 非自立, 一般,* re: ホウ word: が ps: 助詞, 格助詞, 一般,* re: ガ word: 近い ps: 形容詞, 自立,*,* re: チカイ word: ps: 記号, 句点,*,* re: word: 今 ps: 名詞, 副詞可能,*,* re: イマ word: ps: 記号, 読点,*,* re: word: テキスト ps: 名詞, 一般,*,* re: テキスト word: マイニング ps: 名詞, サ変接続,*,* re: マイニング word: の ps: 助詞, 連体化,*,* re: ノ word: 練習 ps: 名詞, サ変接続,*,* re: レンシュウ word: を ps: 助詞, 格助詞, 一般,* re: ヲ word: し ps: 動詞, 自立,*,* re: シ word: て ps: 助詞, 接続助詞,*,* re: テ word: い ps: 動詞, 非自立,*,* re: イ word: ます ps: 助動詞,*,*,* re: マス word: ps: 記号, 句点,*,* re: word: 趣味 ps: 名詞, 一般,*,* re: シュミ word: ps: 記号, 括弧開,*,* re: word: 地域 ps: 名詞, 一般,*,* re: チイキ word: 活動 ps: 名詞, サ変接続,*,* re: カツドウ word: ps: 記号, 括弧閉,*,* re: word: と ps: 助詞, 格助詞, 引用,* re: ト word:mql ps: 名詞, 一般,*,* re:* word:4 ps: 名詞, 数,*,* re:* word: 原語 ps: 名詞, 一般,*,* re: ゲンゴ word: による ps: 助詞, 格助詞, 連語,* re: ニヨル word: ps: 記号, 括弧開,*,* re: 9/13

10 word: プログラミング ps: 名詞, サ変接続,*,* re: プログラミング word: ps: 記号, 括弧閉,*,* re: word: ps: 記号, 句点,*,* re: word: 貴方 ps: 名詞, 代名詞, 一般,* re: アナタ word: の ps: 助詞, 連体化,*,* re: ノ word: 名前 ps: 名詞, 一般,*,* re: ナマエ word: ps: 記号, 句点,*,* re: word: お ps: 接頭詞, 名詞接続,*,* re: オ word: 住まい ps: 名詞, 一般,*,* re: スマイ word: 何 ps: 名詞, 代名詞, 一般,* re: ナニ word: 所 ps: 名詞, 接尾, 一般,* re: ショ word: か ps: 助詞, 副助詞 / 並立助詞 / 終助詞,*,* re: カ word: ps: 記号, 読点,*,* re: word: 最寄り駅 ps: 名詞, 一般,*,* re: モヨリエキ word: 何 ps: 名詞, 代名詞, 一般,* re: ナニ word: 所 ps: 名詞, 接尾, 一般,* re: ショ word: か ps: 助詞, 副助詞 / 並立助詞 / 終助詞,*,* re: カ word: ps: 記号, 読点,*,* re: word: 国領 ps: 名詞, 固有名詞, 地域, 一般 re: コクリョウ word: 駅 ps: 名詞, 接尾, 地域,* re: エキ word: から ps: 助詞, 格助詞, 一般,* re: カラ word: 近い ps: 形容詞, 自立,*,* re: チカイ word: か ps: 助詞, 副助詞 / 並立助詞 / 終助詞,*,* re: カ word:? ps: 記号, 一般,*,* re:? word: お ps: 接頭詞, 名詞接続,*,* re: オ word: 仕事 ps: 名詞, サ変接続,*,* re: シゴト word: と ps: 助詞, 並立助詞,*,* re: ト word: 趣味 ps: 名詞, 一般,*,* re: シュミ word: を ps: 助詞, 格助詞, 一般,* re: ヲ word: 教え ps: 動詞, 自立,*,* re: オシエ word: て ps: 助詞, 接続助詞,*,* re: テ word: ください ps: 動詞, 非自立,*,* re: クダサイ word: ps: 記号, 読点,*,* re: word: ところで ps: 接続詞,*,*,* re: トコロデ word: 投資 ps: 名詞, サ変接続,*,* re: トウシ word: に ps: 助詞, 格助詞, 一般,* re: ニ word: 興味 ps: 名詞, 一般,*,* re: キョウミ word: が ps: 助詞, 格助詞, 一般,* re: ガ word: あり ps: 動詞, 自立,*,* re: アリ word: ます ps: 助動詞,*,*,* re: マス word: か ps: 助詞, 副助詞 / 並立助詞 / 終助詞,*,* re: カ word: ps: 記号, 句点,*,* re: word_dic の中身 : {' 私 ': 1, ' 名前 ': 2, ' アメンボ ': 1, ' 住まい ': 2, ' 狛江 ': 1, ' 市 ': 1, ' 国領 ': 2, ' 駅 ': 2, ' 方 ': 1, ' 今 ': 1, ' テキスト ': 1, ' マイニング ': 1, ' 練習 ': 1, ' 趣味 ': 2, ' 地域 ': 1, ' 活動 ': 1, 'MQL': 1, '4': 1, ' 原語 ': 1, ' プログラミング ': 1, ' 貴方 ': 1, ' お ': 2, ' 何 ': 2, ' 所 ': 2, ' 最寄り駅 ': 1, ' 仕事 ': 1, ' 投資 ': 1, ' 興味 ': 1} 名刺の使用頻度 : 名前 (2) 住まい (2) 国領 (2) 駅 (2) 趣味 (2) お (2) 何 (2) 所 (2) 私 (1) アメンボ (1) 狛江 (1) 市 (1) 方 (1) 今 (1) テキスト (1) マイニング (1) 練習 (1) 地域 (1) 活動 (1) MQL(1) 4(1) 原語 (1) プログラミング (1) 貴方 (1) 最寄り駅 (1) 仕事 (1) 投資 (1) 興味 (1) 10/13

11 (3) 概要解説 # -*- coding: utf-8 -*- Created on Thu Mar 22 22:19: amenbo 例 -1と同様に 上記部分はコメントとして処理されます # python 解析器 janome をインポート - 1 from janome.tokenizer import Tokenizer # 形態素解析用オブジェクトの生成 - 2 text = Tokenizer() janome ライブラリから 日本語形態素 分析用の Tokenizer パッケージを インポートしてから Tokenizer のオブジェクトを作成します ただし Tokenizer オブジェクト作成時に辞書等の指定は行っていません # txt ファイルからデータの読み込み - 3 text_file = open("text_1.txt")# ファイルは shift-jis で動作 1 #text_file = open("text_1.txt",encoding="utf-8")# ファイルもUTF-8にしているこの場合も動作 OK bindata = text_file.read() 2 txt = bindata 3 #print(txt) # 動作 OK 例-1 の場合と異なり 形態素 解析する対象は text_1.txt に記載されたテキストです 手順 ; 1 先ず テキストファイル text_1.txt を開き 2 その内容を読み取って (.read()) 3 一度 テキスト変数 (txt) として設定します 小生のやり方ですが 11/13

12 # txt から読み込んだデータを形態素解析 - 4 #lines = txt.split("\r\n")# なんか うまく行かない lines = txt.split("\n") 4 for i in lines: 5 print(i) text_c = text.tokenize(i) for j in text_c: print(j) print(" ") 4 改行コードを利用して テキストを 1 行 ごとに リスト 形式に分離します 5 リストの各要素 ( つまり 1 行 ) ごとに 形態素 解析していきます # テキストを一行ごとに処理 - 5 word_dic = {} #lines_1 = txt.split("\r\n")# 何か 上手く分離できない lines_1 = txt.split("\n") 6 print(lines_1) 7 for line in lines_1: 8 malist = text.tokenize(line) #print(malist) for w in malist: 9 word = w.surface #print(word) ps = w.part_of_speech # 品詞 - 6 re=w.reading # 読み print("word:%s \t ps:%s \t re:%s" %(word,ps,re)) if ps.find(" 名詞 ") < 0: continue # 名詞だけをカウント 7 if not word in word_dic: word_dic[word] = 0 word_dic[word] += 1 print(" ") 10 12/13

13 6 4 と同じ 改行コードを利用して テキストを 1 行 ごとに リスト 形式に分離 7 上記 6 の内容をプリント 81 行ごとに形態素解析を行います 9 上記 8 の処理として [.surface] = 名詞 [.part_of_speech]= 品詞 [.reading]= 読みを検出して書き出しています 10 各種の品詞の中から 同じ 名詞 のみ 出現頻度をカウントしています print("word_dic の中身 : \n") print(word_dic) print(" ") print(" 名刺の使用頻度 : \n") word_dic( 辞書 ) 形式に保存されたデータを書出し # よく使われる単語を表示 - 8 keys = sorted(word_dic.items(), key=lambda x:x[1], reverse=true) for word, cnt in keys[:50]: print("{0}({1}) ".format(word,cnt), end="") 出現頻度の高い 名詞 の 上位 50 番目まで を書き出します janome( 日本語形態素解析用のライブラリ ) は 導入が非常に簡単な割に高機能で使い易いです ( 他にもライブラリは色々あるようですが ) アメンボは ほんの触り 程度に使っただけです 興味のある読者は色々と試してみることをお勧めします 以上 13/13