再 掲 : これはデータマイニング? データマイニングの 基 礎 3 経 済 学? yes. 経 済 的 インセンティブを 取 り 扱 っている データマイニング? yes 多 量 データの 分 析 結 果 に 基 づく 櫻 井 彰 人 慶 應 義 塾 大 学 理 工 学 部 例 えば 相 撲 の 星 取 り 表 から 全 米 統 一 テストの 結 果 から 中 絶 率 と 犯 罪 の 発 生 件 数 から ベーグルの 料 金 回 収 率 から 基 本 課 題 大 相 撲 の 星 取 り 表 に 関 する Steven Levitt の 主 張 の 正 当 性 について 検 討 しなさい データは 平 成 10 年 度 ~ 平 成 19 年 度 夏 場 所 のものが あります 千 秋 楽 における 7 勝 7 敗 の 力 士 と8 勝 6 敗 の 力 士 の 対 戦 成 績 を 分 析 しな さい(sumoH10-11) J48 を 用 いて 対 戦 結 果 を 予 測 する 決 定 木 を 作 ってみてください その 正 解 率 を 見 てください( 勿 論 単 に 数 を 数 えてもよい) それは Steven Levitt の 結 果 と 一 致 しますか? かなり 一 致 していますね しかし 合 わない 点 もあります どこでしょう あ れ 取 組 み 数 は? sumoh10-10, sumoh00-11, sumoh00-10 などと 比 べて 下 さい 千 秋 楽 における (ほぼ) 全 力 士 との 取 り 組 み 結 果 (sumoh10-09)におい て 結 果 を 予 想 する 決 定 木 を 作 ってください ちょっと 複 雑 な 木 になります 簡 潔 な 関 係 を 求 めて 属 性 を 減 らしてみましょう( 次 のスライド) 決 定 木 を 作 ってください よく 見 ると 勝 星 差 = -1( 自 分 の 勝 星 = 相 手 -1)のときと 勝 星 差 = 0,1( 自 分 の 勝 星 = 相 手 or 相 手 +1)のときとが 比 較 できます さあ どうでしょう 基 本 課 題 続 前 頁 の 続 きです 年 度 や 場 所 を 選 んで 前 頁 と 同 様 の 解 析 を 行 ってください ある 年 度 や 場 所 の 取 組 結 果 を 取 り 除 く 必 要 があります 2つ 方 法 があり ます arff ファイルを ノートパッド 等 を 用 いて 編 集 する Weka 上 で 編 集 する どちらで 行 っても 結 構 です ここでは Weka 上 での 編 集 方 法 を 記 してお きます Levitt の 主 張 との 関 連 について 考 察 してください 勝 星 差 以 外 を 削 除 してみよう 1. 削 除 してみる 属 性 のチェックボックス にチェック 今 の 場 合 星 取 と 勝 星 差 以 外 全 部 2. 属 性 を remove す るためクリック
決 定 木 はどこに? はずした 属 性 を 復 活 させる 1. 文 字 で 書 かれたも のはここに 1. Undo をクリックす ると その 前 に 削 除 した 属 性 が 戻 る 戻 るまえです 2. グラフ 表 示 は ここで 右 クリックし Visualize tree を 選 ぶ データの 編 集 1 2. 境 界 をクリックボタ ンを 押 下 ドラッグ すると 幅 が 変 わる 1. Edit をクリックする と データの Viewer が 現 れる データの 編 集 2 3. 削 除 したいデータを 選 択 したあと 4. 右 クリックし 5. 選 択 データ 全 削 除 を 選 ぶ 6. OKを 選 択 する データの 編 集 3 発 展 課 題 (optional) 1. 編 集 したデータの Save もできますし 2. Undo もできます 同 じことを 平 成 元 年 度 ~9 年 度 のデータでも 調 べ てみよう 平 成 10 年 度 以 降 と 同 じことを 調 べるのに 加 えて 変 化 を 調 べてみてください ない?ある?
データについて おおもと http://gans01.fc2web.com/ csv 形 式 に 変 換 講 義 終 了 後 消 去 しますので 各 自 ダウンロードしてください 欲 しい 形 に 変 換 する 方 法 を 以 下 に 記 す 基 本 的 な 課 題 を 解 くのみであれば 変 換 せず sumoh10-11.csv, sumoh10-10.csv, sumoh10-09.csv を 用 いればよい 最 初 の 形 平 成?? 年?? 場 所 四 股 名 何 日 目 対 戦 相 手 の 四 股 名 結 果 (0: 黒 星, 1: 白 星, 2: 不 戦 敗, 3: 不 戦 勝, 4: 休 み, 5: 引 退 ) sumoh10-00.csv 平 成 10 年 初 場 所 貴 乃 花 1 魁 皇 0 平 成 10 年 初 場 所 貴 乃 花 2 玉 春 日 1 平 成 10 年 初 場 所 貴 乃 花 3 栃 乃 洋 1 平 成 10 年 初 場 所 貴 乃 花 4 土 佐 ノ 海 1 平 成 10 年 初 場 所 貴 乃 花 5 旭 鷲 山 1 平 成 10 年 初 場 所 貴 乃 花 6 旭 豊 1 平 成 10 年 初 場 所 貴 乃 花 7 琴 錦 1 平 成 10 年 初 場 所 貴 乃 花 8 琴 の 若 1 平 成 10 年 初 場 所 貴 乃 花 9 小 城 錦 1 平 成 10 年 初 場 所 貴 乃 花 10 湊 富 士 0 平 成 10 年 初 場 所 貴 乃 花 11 栃 東 0 平 成 10 年 初 場 所 貴 乃 花 12 蒼 樹 山 0 平 成 10 年 初 場 所 貴 乃 花 13 武 双 山 2 平 成 10 年 初 場 所 貴 乃 花 14 4 平 成 10 年 初 場 所 貴 乃 花 15 4 平 成 10 年 初 場 所 貴 ノ 浪 1 琴 錦 1 平 成 10 年 初 場 所 貴 ノ 浪 2 土 佐 ノ 海 1 平 成 10 年 初 場 所 貴 ノ 浪 3 玉 春 日 1 平 成 10 年 初 場 所 貴 ノ 浪 4 栃 乃 洋 1 平 成 10 年 初 場 所 貴 ノ 浪 5 琴 の 若 0 平 成 10 年 初 場 所 貴 ノ 浪 6 魁 皇 1 平 成 10 年 初 場 所 貴 ノ 浪 7 旭 鷲 山 0 平 成 10 年 初 場 所 貴 ノ 浪 8 旭 豊 1 平 成 10 年 初 場 所 貴 ノ 浪 9 蒼 樹 山 0 平 成 10 年 初 場 所 貴 ノ 浪 10 栃 東 1 平 成 10 年 初 場 所 貴 ノ 浪 11 小 城 錦 1 平 成 10 年 初 場 所 貴 ノ 浪 12 武 双 山 0 平 成 10 年 初 場 所 貴 ノ 浪 13 湊 富 士 1 平 成 10 年 初 場 所 貴 ノ 浪 14 武 蔵 丸 1 平 成 10 年 初 場 所 貴 ノ 浪 15 曙 0 変 換 その1 千 秋 楽 が,4 nl,5 nl となる 力 士 の 当 該 場 所 全 取 組 を 消 去 (これはWordではできない?) 千 秋 楽 が 不 戦 敗 不 戦 勝 の 場 合 その 力 士 の 全 取 組 を 消 去 (これもWordでは 出 来 ない?) sumoh10-01.csv 不 戦 勝 敗 休 場 を 勝 負 に 変 換 千 秋 楽 前 14 日 分 の 勝 星 を 計 算 ( 形 式 を 選 択 して 貼 り 付 け を 活 用 ) 千 秋 楽 のみ 抽 出 平 成 10 年 初 場 所 貴 ノ 浪 1 琴 錦 1 平 成 10 年 初 場 所 貴 ノ 浪 2 土 佐 ノ 海 1 平 成 10 年 初 場 所 貴 ノ 浪 3 玉 春 日 1 平 成 10 年 初 場 所 貴 ノ 浪 4 栃 乃 洋 1 平 成 10 年 初 場 所 貴 ノ 浪 5 琴 の 若 0 平 成 10 年 初 場 所 貴 ノ 浪 6 魁 皇 1 平 成 10 年 初 場 所 貴 ノ 浪 7 旭 鷲 山 0 平 成 10 年 初 場 所 貴 ノ 浪 8 旭 豊 1 平 成 10 年 初 場 所 貴 ノ 浪 9 蒼 樹 山 0 平 成 10 年 初 場 所 貴 ノ 浪 10 栃 東 1 平 成 10 年 初 場 所 貴 ノ 浪 11 小 城 錦 1 平 成 10 年 初 場 所 貴 ノ 浪 12 武 双 山 0 平 成 10 年 初 場 所 貴 ノ 浪 13 湊 富 士 1 平 成 10 年 初 場 所 貴 ノ 浪 14 武 蔵 丸 1 平 成 10 年 初 場 所 貴 ノ 浪 15 曙 0 平 成 10 年 初 場 所 若 乃 花 1 玉 春 日 0 平 成 10 年 初 場 所 若 乃 花 2 栃 乃 洋 1 平 成 10 年 初 場 所 若 乃 花 3 魁 皇 0 平 成 10 年 初 場 所 若 乃 花 4 琴 の 若 1 平 成 10 年 初 場 所 若 乃 花 5 土 佐 ノ 海 1 変 換 その2 対 戦 相 手 の 勝 星 数 を 入 れたいが これが 面 倒 データベー ス 言 語 を 用 いれば 簡 単 しかし Excel で 頑 張 ってみよう 四 股 名 を 例 えば 平 成 10 年 初 場 所 -- 貴 ノ 浪 とする 右 のように 列 を 入 れ 替 える sumoh10-03.csv 第 一 二 列 のみからなる 表 を 作 る sumoh10-03tt.csv 力 士 1 勝 数 1 結 果 力 士 2 平 成 10 10 0 平 成 10 年 初 場 所 -- 貴 ノ 浪 年 初 場 所 -- 曙 平 成 10 年 初 場 所 -- 若 乃 花 9 1 平 成 10 年 初 場 所 -- 武 双 山 平 成 10 年 初 場 所 -- 武 双 山 10 0 平 成 10 年 初 場 所 -- 若 乃 花 平 成 10 年 初 場 所 -- 魁 皇 7 1 平 成 10 年 初 場 所 -- 旭 鷲 山 平 成 10 年 初 場 所 -- 貴 闘 力 4 1 平 成 10 年 初 場 所 -- 安 芸 ノ 州 平 成 10 年 初 場 所 -- 土 佐 ノ 海 5 0 平 成 10 年 初 場 所 -- 玉 春 日 平 成 10 年 初 場 所 -- 旭 鷲 山 5 0 平 成 10 年 初 場 所 -- 魁 皇 平 成 10 年 初 場 所 -- 小 城 錦 5 0 平 成 10 年 初 場 所 -- 栃 東 平 成 10 年 初 場 所 -- 湊 富 士 6 0 平 成 10 年 初 場 所 -- 琴 錦 力 士 3 勝 数 3 平 成 10 年 初 場 所 -- 貴 ノ 浪 10 平 成 10 年 初 場 所 -- 若 乃 花 9 平 成 10 年 初 場 所 -- 武 双 山 10 平 成 10 年 初 場 所 -- 魁 皇 7 平 成 10 年 初 場 所 -- 貴 闘 力 4 平 成 10 年 初 場 所 -- 土 佐 ノ 海 5 平 成 10 年 初 場 所 -- 旭 鷲 山 5 平 成 10 年 初 場 所 -- 小 城 錦 5 平 成 10 年 初 場 所 -- 湊 富 士 6 変 換 その3 表 のjoin その1 力 士 2 と 力 士 3 をキーに2つの 表 を join する Excel の 表 を join するアドイン 等 がいくつかあるが ここでは フリーの Scarab を 用 いる くせがあるソフトなので 利 用 方 法 を 次 スライドに 示 す 力 士 1 勝 数 1 力 士 3 勝 数 3 結 果 平 成 10 5 平 成 10 3 1 年 九 州 場 所 -- 若 ノ 城 年 九 州 場 所 -- 海 鵬 平 成 10 年 九 州 場 所 -- 土 佐 ノ 海 11 平 成 10 年 九 州 場 所 -- 玉 春 日 8 1 平 成 10 年 九 州 場 所 -- 旭 豊 6 平 成 10 年 九 州 場 所 -- 朝 乃 若 5 0 平 成 10 年 九 州 場 所 -- 琴 龍 7 平 成 10 年 九 州 場 所 -- 水 戸 泉 8 1 平 成 10 年 九 州 場 所 -- 旭 鷲 山 8 平 成 10 年 九 州 場 所 -- 琴 錦 13 0 平 成 10 年 九 州 場 所 -- 時 津 海 8 平 成 10 年 九 州 場 所 -- 大 碇 5 1 平 成 10 年 九 州 場 所 -- 安 芸 ノ 州 3 -------- ------ 1 平 成 10 年 九 州 場 所 -- 朝 乃 若 5 平 成 10 年 九 州 場 所 -- 旭 豊 6 1 平 成 10 年 九 州 場 所 -- 若 乃 花 9 平 成 10 年 九 州 場 所 -- 千 代 大 海 9 0 幕 下 を 対 戦 相 手 とした 場 合 四 股 名 が 対 応 しない 部 分 がある そこは 手 で 削 除 する( outer join を 行 っているために 発 生 する) 作 者 のサイト http://scarabs.com/download.htm 表 編 集 ウィンドウの 表 を 読 み 込 む で sumoh10-03.csv と sumoh10-03tt.csv を 読 込 む 読 込 んだ 表 の 右 下 をマウス 左 ボタンで ドラッグし 適 当 な 形 にする sumoh10-03.csv の 力 士 2 を 右 ク リックし sumoh10-03tt.csv の 力 士 3 を 右 クリックする( 順 番 が 大 切 join キーの 指 定 である)
表 のjoin その2 sumoh10-03.csv の 力 士 1 勝 数 1 結 果 sumoh10-03tt.csv の 力 士 3 勝 数 3 をこの 順 に 左 クリックする( 出 力 する 列 を 選 んでいる) 条 件 式 編 集 のウィンドウへ 移 る *AND* の 窓 に 何 かが 書 かれている 時 は その 左 端 を 左 ボタンでクリ ックし これらを 削 除 しておく 表 編 集 ウィンドウで 勝 数 1 列 のどこかのエントリ-を 左 クリ ックする クリックした 値 が10なら 条 件 式 編 集 ウィンドウの *AND*の 窓 に sumoh10-03. 勝 数 1 = 10 と 表 示 されているはず この =10 を <=15 としておく 表 のjoin その3 検 査 結 果 ウィンドウの 結 合 し 絞 込 み 検 索 を 選 択 する( 実 行 される) 検 索 結 果 を 保 存 する csv file を 選 ぶ( 実 行 される) ファイル 名 は sumoh10-09.csv とする 条 件 式 編 集 ウィンドウの *AND* の 窓 の sumoh10-03. 勝 数 1 <= 15 を sumoh10-03. 勝 数 1 = 7 として 検 索 結 果 ウィンドウの 結 合 し 絞 込 み 検 索 を 選 択 し( 実 行 される) 検 索 結 果 を 保 存 する で 保 存 する ファイル 名 は sumoh10-10.csv とする 表 編 集 ウィンドウで 勝 数 3 列 の 値 8を 左 クリックする 検 索 結 果 ウィンドウの 結 合 し 絞 込 み 検 索 を 選 択 し( 実 行 される) 検 索 結 果 を 保 存 する で 保 存 する ファイル 名 は sumoh10-11.csv とする 表 のjoin その4 あと 始 末 が 必 要 sumoh10-09.csv: 力 士 3が 空 白 (--------となっている)であるデータを 消 去 勝 負 数 の 差 を 作 成 力 士 3の 年 度 場 所 名 を 削 除 力 士 1の 年 度 と 場 所 名 を 分 離 注 : どの 取 り 組 みも2 重 に 数 えられている sumoh10-10.csv: 力 士 3が 空 白 (--------となっている)であるデータを 消 去 力 士 3の 年 度 場 所 名 を 削 除 力 士 1の 年 度 と 場 所 名 を 分 離 7 勝 7 敗 の 取 り 組 みだけが2 重 になっているので 半 分 削 除 する sumoh10-11.csv: 力 士 3が 空 白 (--------となっている)であるデータを 消 去 力 士 3の 年 度 場 所 名 を 削 除 力 士 1の 年 度 と 場 所 名 を 分 離 Weka 用 ファイルにする Weka が 読 み 込 むファイルは arff という 拡 張 子 をもつ このファイルは csv ファイルにヘッダを 附 加 したもの そこに 四 股 名 が 必 要 csv ファイルには 含 まれるが 重 複 が 非 常 に 多 い 重 複 をなくす 必 要 がある しかしExcel の 標 準 機 能 にはない そこで フリーのアドインを 用 いよう! http://hp.vector.co.jp/authors/va011407/vbasoft/dupcheck/readme.htm 通 常 の 設 定 場 所 : C: Documents and Settings ユーザ Application Data Microsoft AddIns 注 意 : バグ? arff のヘッダ 例 前 述 の 重 複 チェックのアドインは 重 複 し た 値 を 見 つけるものです したがって 一 度 しか 現 れない 値 は 検 出 しません 無 駄 ですが データをコピーして 重 複 チェックすればよい
用 意 してあるデータ(H10~) もとのデータ sumoh10-00.csv (H10~H18 秋 ) sumoh18-00.csv (H18 九 州 ~H19 夏 ) 休 場 引 退 した 力 士 のデータを 除 く sumoh10-01.csv (H10~H18 秋 ) sumoh18-01.csv (H18 九 州 ~H19 夏 ) 千 秋 楽 が 不 戦 勝 敗 の 力 士 データを 除 く sumoh10-02.csv (H10~H18 秋 ) 用 意 してあるデータ(H10~) 7 勝 の 力 士 のデータのみ sumoh10-10.csv (H10~H19 夏 ) 7 勝 vs8 勝 のみ sumoh10-11.csv (H10~H19 夏 ) 勝 負 数 差 を 用 いてみよう sumoh10-09.csv (H10~H19 夏 ) 用 意 してあるデータ(H1~H9) もとのデータ sumoh00-00.csv 休 場 引 退 した 力 士 のデータを 除 く sumoh00-01.csv 千 秋 楽 が 不 戦 勝 敗 の 力 士 データを 除 く sumoh00-02.csv 用 意 してあるデータ(H1~H9) 勝 負 数 差 を 用 いてみよう sumoh00-09.csv 7 勝 の 力 士 のデータのみ( 勝 負 数 差 付 き) sumoh00-10.csv 7 勝 vs8 勝 のみ( 勝 負 数 差 付 き) sumoh00-11.csv