Microsoft PowerPoint - 04HW.ppt

Transcription

1 変更 機械学習の基礎 4 櫻井彰人慶應義塾大学理工学部 データの取り扱い また 誤りの修正により 訂正が発生しています データの誤りに対応するため 課題も 少々変更せざるをえなくなりました 独自に進める方には 無関係です 基本課題 大相撲の星取り表から Steven Levitt の主張について 検討しなさい データは 平成 10 年度 ~ 平成 18 年度のものがあります 千秋楽における 7 勝 7 敗の力士と8 勝 6 敗の力士の対戦成績を分析しなさい (sumoh10-11) J48 を用いて対戦結果を予測する決定木を作ってみてください その正解率を見てください ( 勿論 単に 数を数えてもよい ) それは Steven Levitt の結果と一致しますか? かなり一致していますね しかし 合わない点もあります どこでしょう あれ 取組み数は? sumoh10-10, sumoh00-11, sumoh00-10 などと比べて下さい 7 勝 7 敗の力士と他の力士との取り組み結果 (sumoh10-09) において 結果を予想する決定木を作ってください ちょっと複雑な木になりますよね 簡潔な関係を求めて 属性を減らしてみましょう ( 次のスライド ) 決定木を作ってください よく見ると 勝星差 = -1( 自分の勝星 = 相手 -1) のときと 勝星差 = 0,1( 自分の勝星 = 相手 or 相手 +1) ときとが比較できます さあ どうでしょう 勝星差以外を削除してみよう 1. 削除してみる属性のチェックボックスにチェック 今の場合 勝星差以外全部 2. 属性を remove するためクリック

2 決定木はどこに? はずした属性を復活させる 1. 文字で書かれたものはここに 1. Undo をクリックすると その前に削除した属性が戻る 戻るまえです 2. グラフ表示は ここで 右クリックし Visualize tree を選ぶ 発展課題 (optional) 同じことを平成元年度 ~9 年度のデータでも調べてみよう 平成 10 年度以降と同じことを調べるのに加えて 変化を調べてみてください ない? ある? データについて おおもと csv 形式に変換 講義終了後消去しますので 各自ダウンロードしてください 欲しい形に変換する方法を以下に記す 基本的な課題を解くのみであれば 変換せず sumoh10-11.csv, sumoh10-10.csv, sumoh10-09.csv を用いればよい

3 最初の形 変換その 1 平成?? 年?? 場所四股名何日目対戦相手の四股名結果 (0: 黒星, 1: 白星, 2: 不戦敗, 3: 不戦勝, 4: 休み, 5: 引退 ) sumoh10-00.csv 平成 10 年初場所貴乃花 1 魁皇 0 平成 10 年初場所貴乃花 2 玉春日 1 平成 10 年初場所貴乃花 3 栃乃洋 1 平成 10 年初場所貴乃花 4 土佐ノ海 1 平成 10 年初場所貴乃花 5 旭鷲山 1 平成 10 年初場所貴乃花 6 旭豊 1 平成 10 年初場所貴乃花 7 琴錦 1 平成 10 年初場所貴乃花 8 琴の若 1 平成 10 年初場所貴乃花 9 小城錦 1 平成 10 年初場所貴乃花 10 湊富士 0 平成 10 年初場所貴乃花 11 栃東 0 平成 10 年初場所貴乃花 12 蒼樹山 0 平成 10 年初場所貴乃花 13 武双山 2 平成 10 年初場所貴乃花 14 4 平成 10 年初場所貴乃花 15 4 平成 10 年初場所貴ノ浪 1 琴錦 1 平成 10 年初場所貴ノ浪 2 土佐ノ海 1 平成 10 年初場所貴ノ浪 3 玉春日 1 平成 10 年初場所貴ノ浪 4 栃乃洋 1 平成 10 年初場所貴ノ浪 5 琴の若 0 平成 10 年初場所貴ノ浪 6 魁皇 1 平成 10 年初場所貴ノ浪 7 旭鷲山 0 平成 10 年初場所貴ノ浪 8 旭豊 1 平成 10 年初場所貴ノ浪 9 蒼樹山 0 平成 10 年初場所貴ノ浪 10 栃東 1 平成 10 年初場所貴ノ浪 11 小城錦 1 平成 10 年初場所貴ノ浪 12 武双山 0 平成 10 年初場所貴ノ浪 13 湊富士 1 平成 10 年初場所貴ノ浪 14 武蔵丸 1 平成 10 年初場所貴ノ浪 15 曙 0 千秋楽が,4 nl,5 nl となる力士の当該場所全取組を消去 ( これはWordではできない?) 千秋楽が不戦敗 不戦勝の場合 その力士の全取組を消去 ( これも Word では出来ない?) sumoh10-01.csv 不戦勝 敗 休場を勝 負に変換 千秋楽前 14 日分の勝星を計算 ( 形式を選択して貼り付け を活用 ) 千秋楽のみ抽出 平成 10 年初場所貴ノ浪 1 琴錦 1 平成 10 年初場所貴ノ浪 2 土佐ノ海 1 平成 10 年初場所貴ノ浪 3 玉春日 1 平成 10 年初場所貴ノ浪 4 栃乃洋 1 平成 10 年初場所貴ノ浪 5 琴の若 0 平成 10 年初場所貴ノ浪 6 魁皇 1 平成 10 年初場所貴ノ浪 7 旭鷲山 0 平成 10 年初場所貴ノ浪 8 旭豊 1 平成 10 年初場所貴ノ浪 9 蒼樹山 0 平成 10 年初場所貴ノ浪 10 栃東 1 平成 10 年初場所貴ノ浪 11 小城錦 1 平成 10 年初場所貴ノ浪 12 武双山 0 平成 10 年初場所貴ノ浪 13 湊富士 1 平成 10 年初場所貴ノ浪 14 武蔵丸 1 平成 10 年初場所貴ノ浪 15 曙 0 平成 10 年初場所若乃花 1 玉春日 0 平成 10 年初場所若乃花 2 栃乃洋 1 平成 10 年初場所若乃花 3 魁皇 0 平成 10 年初場所若乃花 4 琴の若 1 平成 10 年初場所若乃花 5 土佐ノ海 1 変換その 2 対戦相手の勝星数を入れたいが これが面倒 データベース言語を用いれば 簡単 しかし Excel で頑張ってみよう 四股名を 例えば 平成 10 年初場所 -- 貴ノ浪 とする 右のように列を入れ替える sumoh10-03.csv 第一 二列のみからなる表を作る sumoh10-03tt.csv 力士 1 勝数 1 結果力士 2 平成 平成 10 年初場所 -- 貴ノ浪 年初場所 -- 曙 平成 10 年初場所 -- 若乃花 9 1 平成 10 年初場所 -- 武双山 平成 10 年初場所 -- 武双山 10 0 平成 10 年初場所 -- 若乃花 平成 10 年初場所 -- 魁皇 7 1 平成 10 年初場所 -- 旭鷲山 平成 10 年初場所 -- 貴闘力 4 1 平成 10 年初場所 -- 安芸ノ州 平成 10 年初場所 -- 土佐ノ海 5 0 平成 10 年初場所 -- 玉春日 平成 10 年初場所 -- 旭鷲山 5 0 平成 10 年初場所 -- 魁皇 平成 10 年初場所 -- 小城錦 5 0 平成 10 年初場所 -- 栃東 平成 10 年初場所 -- 湊富士 6 0 平成 10 年初場所 -- 琴錦 力士 3 勝数 3 平成 10 年初場所 -- 貴ノ浪 10 平成 10 年初場所 -- 若乃花 9 平成 10 年初場所 -- 武双山 10 平成 10 年初場所 -- 魁皇 7 平成 10 年初場所 -- 貴闘力 4 平成 10 年初場所 -- 土佐ノ海 5 平成 10 年初場所 -- 旭鷲山 5 平成 10 年初場所 -- 小城錦 5 平成 10 年初場所 -- 湊富士 6 変換その 3 力士 2 と 力士 3 をキーに2つの表を join する Excel の表を join するアドイン等がいくつかあるが ここでは フリーの Scarab を用いる くせがあるソフトなので 利用方法を次スライドに示す 力士 1 勝数 1 力士 3 勝数 3 結果 平成 10 年九州場所 -- 若ノ城 5 平成 10 年九州場所 -- 海鵬 3 1 平成 10 年九州場所 -- 土佐ノ海 11 平成 10 年九州場所 -- 玉春日 8 1 平成 10 年九州場所 -- 旭豊 6 平成 10 年九州場所 -- 朝乃若 5 0 平成 10 年九州場所 -- 琴龍 7 平成 10 年九州場所 -- 水戸泉 8 1 平成 10 年九州場所 -- 旭鷲山 8 平成 10 年九州場所 -- 琴錦 13 0 平成 10 年九州場所 -- 時津海 8 平成 10 年九州場所 -- 大碇 5 1 平成 10 年九州場所 -- 安芸ノ州 平成 10 年九州場所 -- 朝乃若 5 平成 10 年九州場所 -- 旭豊 6 1 平成 10 年九州場所 -- 若乃花 9 平成 10 年九州場所 -- 千代大海 9 0 幕下を対戦相手とした場合 四股名が対応しない部分がある そこは手で削除する ( outer join を行っているために発生する )

4 表の join その 1 作者のサイト 表編集ウィンドウの 表を読み込む で sumoh10-03.csv と sumoh10-03tt.csv を読込む 読込んだ表の右下をマウス左ボタンでドラッグし 適当な形にする sumoh10-03.csv の 力士 2 を右クリックし sumoh10-03tt.csv の 力士 3 を右クリックする ( 順番が大切 join キーの指定である ) 表の join その 2 sumoh10-03.csv の 力士 1 勝数 1 結果 sumoh10-03tt.csv の 力士 3 勝数 3 をこの順に左クリックする ( 出力する列を選んでいる ) 条件式編集のウィンドウへ移る *AND* の窓に何かが書かれている時は その左端を左ボタンでクリックし これらを削除しておく 表編集ウィンドウで 勝数 1 列のどこかのエントリ - を左クリックする クリックした値が 10 なら 条件式編集ウィンドウの *AND* の窓に sumoh 勝数 1 = 10 と表示されているはず この =10 を <=15 としておく 表の join その 3 検査結果ウィンドウの 結合し 絞込み検索 を選択する ( 実行される ) 検索結果を保存する csv file を選ぶ ( 実行される ) ファイル名は sumoh10-09.csv とする 条件式編集ウィンドウの *AND* の窓の sumoh 勝数 1 <= 15 を sumoh 勝数 1 = 7 として 検索結果ウィンドウの 結合し 絞込み検索 を選択し ( 実行される ) 検索結果を保存する で保存する ファイル名は sumoh10-10.csv とする 表編集ウィンドウで 勝数 3 列の値 8 を左クリックする 検索結果ウィンドウの 結合し 絞込み検索 を選択し ( 実行される ) 検索結果を保存する で保存する ファイル名は sumoh10-11.csv とする 表の join その 4 あと始末が必要 sumoh10-09.csv: 力士 3 が空白 ( となっている ) であるデータを消去 勝負数の差を作成 力士 3 の年度場所名を削除 力士 1 の年度と場所名を分離注 : どの取り組みも 2 重に数えられている sumoh10-10.csv: 力士 3 が空白 ( となっている ) であるデータを消去 力士 3 の年度場所名を削除 力士 1 の年度と場所名を分離 7 勝 7 敗の取り組みだけが 2 重になっているので 半分削除する sumoh10-11.csv: 力士 3 が空白 ( となっている ) であるデータを消去 力士 3 の年度場所名を削除 力士 1 の年度と場所名を分離

5 Weka 用ファイルにする Weka が読み込むファイルは arff という拡張子をもつ このファイルは csv ファイルにヘッダを附加したもの そこに 四股名が必要 csv ファイルには含まれるが 重複が非常に多い 重複をなくす必要がある しかし Excel の標準機能にはない そこで フリーのアドインを用いよう! 注意 : バグ? 前述の重複チェックのアドインは 重複した値を見つけるものです したがって 一度しか現れない値は検出しません 無駄ですが データをコピーして 重複チェックすればよい arff のヘッダ例