Microsoft PowerPoint - Sugi2013０

Transcription

1 小 標 本 のための100 重 交 差 検 証 法 のすすめ 新 村 秀 一 成 蹊 大 学 経 済 学 部 100 fold cross validation for small samples Shuichi Shinmura Economics, Seikei Univ. 要 旨 :1997 年 からMNM(Minimum Number of Misclassifications) 基 準 によ る 最 適 線 形 判 別 関 数 を 研 究 し,2012 年 末 に 考 えられる 全 ての 判 別 分 析 の 問 題 を 解 決 した. 1) 線 形 分 離 可 能 なデータを 認 識 できない,2) 判 別 超 平 面 上 のケースの 帰 属 は 決 定 できない 3) class1/class2の 一 方 の 変 数 の 値 が 一 定 な 場 合, 正 則 化 判 別 は 間 違 った 結 果 を 出 力 研 究 に 用 いたのは,40 件 から240 件 の4 種 類 の 実 データである.このような 小 標 本 で, 統 計 学 の 泰 斗 のFisher 卿 が 始 めた 判 別 分 析 に 異 議 をとなえるためには, 誰 もが 納 得 する 検 証 が 必 要 である. そこでBootstrap 法 とk 重 交 差 検 証 法 を 組 み 合 わせた, 小 標 本 のための100 重 交 差 検 証 法 を 考 えて 評 価 を 行 い 成 果 を 得 た. 現 実 に 統 計 分 析 したいデータは 小 標 本 の 事 が 多 く, 本 方 法 は 多 くの 統 計 家 に とって 福 音 である. キーワード: 小 標 本 の 統 計 分 析,リサンプリング,100 重 交 差 検 証 法 2 1

2 1.はじめに 1971 年 に 大 学 卒 業 後, 大 阪 府 立 成 人 病 センターで 心 電 図 の 自 動 診 断 解 析 システム の 開 発 に 従 事 し, 当 時 勃 興 していた 計 量 診 断 学 の 中 核 である 多 変 量 解 析 を 勉 強 し, 判 別 関 数 で 心 電 図 所 見 の 多 群 判 別 の 診 断 論 理 の 研 究 を 行 った. 4 年 間 の 成 果 は, 野 村 医 師 の 開 発 した フィードバックのかかった た 枝 分 かれ 論 理 (パーティ ションと 同 じ, 知 識 工 学 との 関 連 ) に 立 ちうちできない. なぜ, 科 学 的 な 判 別 分 析 が 経 験 的 な 枝 分 かれ 論 理 にかなわないのか? これを 契 機 に, 判 別 分 析 が 一 生 涯 の 研 究 テーマになった. 詳 しくは,STN 2012 年 春 号 からSTN 2013 年 冬 号,2013 年 アカデミク 夏 号 を 参 照. [1]は,Bayesを 用 いた 医 学 におけるスペクトル 診 断 を 提 案. 近 年 では,ロジスティック 回 帰 で 実 現. [4]は, 医 学 診 断 における 正 常 と 異 常 の 判 別 は,2 群 を 正 規 分 布 と 考 えることは 間 違 いで, 地 球 モデル を 提 案. [17]と[19]は, 各 種 判 別 手 法 をROC 曲 線 で 評 価.[41]は,ケース 数 が 少 なく, 変 数 が 多 く,2 群 のケース 数 が 偏 るほど, 標 本 誤 分 類 確 率 は 母 誤 分 類 確 率 に 比 べ 過 小 評 価 される. [42]は, 多 重 共 線 性 のある19 変 数 のCPDデータの2 群 判 別. [45]~[48]は, 丸 山 ワクチンの 評 価 に 判 別 関 数 を 利 用. [53]は,ヒューリスティックにMNM 基 準 にもとずく 最 適 線 形 判 別 関 数 の 研 究 統 計 的 判 別 関 数 判 別 分 析 は,Fisherが 式 (1)で 示 す2 群 の 分 散 比 ( 群 間 分 散 / 群 内 分 散 ) 最 大 化 基 準 で 線 形 判 別 関 数 (LDF)を 導 いた. b (x m1 x m2 ) (x m1 x m2 ) b/b b; (1) しかしFisherの 仮 説 から,2 群 の 対 数 尤 度 (log(n 1 (m 1, 1 )/N 2 (m 2, 2 )))から 同 じLDFが 式 (3)で, 分 散 共 分 散 行 列 から 直 接 定 式 化 され, 統 計 ソフトに 取 り 入 れられて 判 別 関 数 が 広 く 普 及 した. LDF:f(x) = {x (m 1 +m 2 )/2} 1 (m 1 m 2 ) (3) 2 群 の 分 散 共 分 散 行 列 が 等 しくない 場 合 は, 式 (4)の2 次 判 別 関 数 (QDF)が 定 式 化. f(x) = x ( ) x/2 + (m m ) x+c (4) 式 (5)のマハラノビスの 汎 距 離 を 用 いて, 多 群 判 別 や 品 質 管 理 のMT 理 論 に 応 用. D = SQRT ((x m) 1 (x m)) (5) これに 対 して 正 規 分 布 を 仮 定 しない 式 (6)のロジスティック 回 帰 は,LDFやQDFより 誤 分 類 数 が 少 ない ことが 経 験 的 に 知 られていて, 医 学 や 経 済 の 分 野 で 利 用. P=1/(1+exp( b 0 b 1 X 1 b k X k )) (6) 2 群 を 正 規 分 布 と 仮 定 して 分 散 比 最 大 化 基 準 によるLDFと 同 じ 式 を 求 めた.これを 母 集 団 を 正 規 分 布 と 考 え, 判 別 分 析 は 推 測 統 計 学 的 手 法 と 勘 違 いする 人 がいる. 誤 分 類 数 や 判 別 係 数 の 推 測 統 計 学 的 知 見 はない.このため, Leave One Out (LOO) が 考 えられ, 補 完 の 意 味 でBootstrap 法 が 提 案. 2 群 に0/1のダミー 変 数 を 与 えて 重 回 帰 分 析 をすれば, 重 回 帰 分 析 の 統 計 量 が 利 用 できる. 分 散 共 分 散 に 基 づく 判 別 関 数 は, 逆 行 列 の 計 算 が 必 要 で, 変 数 が 一 定 値 であるとランク 落 ちする. JMPは, 一 般 化 逆 行 列 と 正 則 化 判 別 分 析 で 改 良 している. 判 別 超 平 面 上 のケースをclass1/class2のいずれに 判 別 するかは, 判 別 分 析 では 未 解 決 の 問 題 と して 放 置. 4 2

3 3. 数 理 計 画 法 による 判 別 関 数 数 理 計 画 法 は 関 数 の 最 大 値 / 最 小 値 を 求 める 学 問 であり, 重 回 帰 分 析 や 判 別 分 析 の 研 究 が 可 能. 3.1 Stam(1997)の 嘆 き Stamは 米 国 OR 学 会 誌 で, 数 理 計 画 法 による 判 別 関 数 の 研 究 の 総 括 論 文 の5.1 節 で, なぜ 統 計 ユー ザーは, 数 理 計 画 法 による 判 別 関 数 の 成 果 を 利 用 しないのか? と 論 じて,この 分 野 の 研 究 は 終 焉? 理 由 は,すでにある 統 計 的 判 別 関 数 と 比 べて, 優 れていることの 実 証 研 究 がない. ノーベル 経 済 学 賞 をとったポートフォリオ 分 析 は,マーコウィッツ(1959) がシカゴ 大 学 の 学 位 論 文 で 提 案 したが 実 証 研 究 を 行 っていなく,1990 年 に 受 賞. 古 い 世 代 は, 単 に 数 理 計 画 法 モデルの 提 案 に 終 始. 3.2 Vapnik(1995)の 時 代 H-SVM( 式 (7)), S-SVM( 式 (8)), カーネルSVMといった 魅 惑 的 な 数 理 計 画 法 モデルを 提 案. 実 証 研 究 はあるが, 統 計 的 線 形 判 別 関 数 との 比 較 がない. H-SVMは, 線 形 分 離 可 能 ( MNM=0で 初 めて 線 形 分 離 可 能 と 同 義 語 )という 概 念 を 提 案. 判 別 分 析 に は, 専 門 用 語 がなく, 誤 分 類 数 の 少 ない 判 別 は 容 易 と 考 えていた(MNM=0の 問 題 点 の 研 究 がない!). S-SVMは, 現 実 にはMNM=0のデータは 少 ないので,SVの 反 対 側 にケースがくることを 認 め,そのSV からの 距 離 の 和 を 最 小 化.PortFolioモデルと 同 じ2 目 的 最 適 化 を 加 重 和 で 単 目 的 化 して 定 式 化 し,2 次 計 画 法 で 定 式 化 する 誤 り.また, 最 適 化 手 法 を 使 っているのに 重 みCの 決 定 は 恣 意 的.Cが 大 きいとH- SVM,0に 近 いと 改 定 LP-OLDFの 結 果 になる. MIN = b 2 /2 ; y i *(x i b+b 0 )>=1 ; (7) MIN = b 2 /2+c*Σe i ; y i *(x i b+b 0 )>=1-e i ; (8) カーネルSVMは, 単 に 高 次 元 のカーブフィッティングでないかの 疑 念. 研 究 者 が 実 証 研 究 すべき 判 別 分 析 の 問 題 点 1. 判 別 超 平 面 上 のケースの 帰 属 は 未 解 決 のまま 放 置. 判 別 スコア 10-6 等 で0 判 定 を 行 い,このケース 数 を 統 計 ソフトは 出 力 し, ユーザーは 誤 分 類 数 をこの 値 で 修 正 すべき. 2. 判 別 係 数 と 誤 分 類 数 の 関 係 が, 式 (9)のIP-OLDFで 明 らか. x i b+1=0で 表 され るN 個 の 線 形 超 平 面 で, 判 別 係 数 の 空 間 は 有 限 個 の 凸 体 に 分 割. 各 凸 体 の 内 点 は, 同 じケースを 誤 分 類 する 関 数 の 集 合.MNMをもつ 最 適 凸 体 を 選 べば, 判 別 超 平 面 上 にケースは 来 ない. MIN=Σe i ; y i *(x i b+1)>=- e i ; (9) 3.MNMの 単 調 減 少 性 (MNM p MNM (p+1) ).スイス 銀 行 データは,2 変 数 (X4,X6)で MNN=0,この2 変 数 を 含 む16 個 の 判 別 モデルでMNM=0になる. 既 存 の 判 別 関 数 はMNM=0のデータを 認 識 できない. 4. 文 献 (1)では, 成 蹊 大 学 経 済 学 部 1 年 生 の 統 計 入 門 の 合 否 判 定 で 検 討 し,LDF の 最 大 誤 分 類 確 率 は17%で,QDFは11%と 報 告. 5. 逆 行 列 がランク 落 ちする 場 合, 正 則 化 判 別 関 数 ( 文 献 (2))という 最 新 のアルゴ リズムで 対 応.しかし, 一 方 の 群 の 変 数 値 が 一 定 で, 他 群 がばらつく 場 合 に, 一 方 の 群 の 全 てを 誤 判 別 するという 問 題 が 分 かった. 6 3

4 5. 最 適 線 形 判 別 関 数 IP-OLDF: データ 空 間 と 判 別 係 数 の 空 間 で 定 義.データ が 一 般 位 置 にある 場 合, 最 適 凸 体 の 頂 点 を 求 める. 定 数 項 は1,0,-1にした3つを 計 算 する 必 要. MIN=Σe i ; y i *(x i b+1)>=- e i ; (9) e i は 整 数 変 数 改 定 IP-OLDF: 定 数 項 は 自 由 変 数 ( 任 意 の 実 数 ).Mは 10000のような 大 きな 整 数.y i *f(x i )>=1であればケースx i はe i =0でSVで 正 しく 判 別 され, 誤 判 別 されるx i はe i =1でy i *f(x i ) >=1 Mという 制 約 式 を 選 ぶ.Mを 用 いれば,SVで 判 別 され ないケースはf(x)= 9999というSVの 代 替 超 平 面 に 引 きずら れ, 1<y i *f(x i )<1の 範 囲 にケースがない. MIN=Σe i ; y i *(x i b+b 0 )>=1- M*e i ; (10) 改 定 LP-OLDF: 式 (9)のe i を 実 数.S-SVMのcが SVMのcが 大 きい 場 合 とほぼ 同 じ 結 果. 改 定 IPLP-OLDF: 第 1 段 階 で 改 定 LP-OLDFを 解 く. e i =0となるSVで 正 しく 判 別 されるケースのe i を, 第 2 段 階 の 改 定 IPOLDFで0に 固 定 して 最 適 計 算 から 省 く.すなわち, 第 2 段 階 は, 第 1 段 階 で 誤 判 別 されたケースだけで,MNMを 求 めるため, 計 算 時 間 が 短 縮 され, 真 のMNMの 推 定 値 が 得 られることを 期 待 する. 7 6.データ 6.1 研 究 の 初 期 (1997~2007): 教 師 標 本 で 統 計 的 判 別 関 数 との 評 価 と 新 知 見 の 発 見 Fisherのアイリスデータ : Fisherの 仮 説 を 満 たすと 考 えられている. CPD( 児 頭 骨 盤 不 均 衡 )データ :17 個 の 変 数 と,2 変 数 の 差 から 作 られた2 変 数 の19 変 数. 多 重 共 線 性 がある.QDFの 誤 分 類 数 は, 変 数 増 加 法 で 減 少 後 に 増 加. 減 少 法 では, 逆 の への 字 型 になる. 135 組 の2 変 数 正 規 乱 数 : 教 師 標 本 と 検 証 標 本 による 評 価.QDFは 悪 くない. スイス 銀 行 紙 幣 データ : (X4,X6)でMNM=0になり,この2 変 数 を 含 む16 個 の 判 別 モデルでMNM=0. 統 計 的 判 別 関 数 が 対 応 できないことが 分 かる. 学 生 データ : IP-OLDFがデータが 一 般 位 置 にないため, 正 しいMNMを 求 めないことが 分 かり, 最 適 凸 体 の 内 点 を 直 接 求 める 改 定 IP-OLDFを 開 発. 6.2 研 究 の 中 期 ( ) : 教 師 標 本 と 検 証 標 本 による 統 計 とSVMとの 評 価 4 種 の 実 データの 平 均 と 分 散 共 分 散 から,2 万 個 の 多 次 元 正 規 分 布 を 作 成 し, 評 価 データに 用 いる. 実 データによる 教 師 標 本 の 判 別 結 果 より, 教 師 標 本 で 求 めた 判 別 関 数 を 正 規 乱 数 による 検 証 標 本 に 適 用 した 判 別 結 果 の 方 がよい.これは, 検 証 標 本 の 方 が, 教 師 標 本 から 求 めた 多 次 元 正 規 分 布 によく 対 応 しているためである. 実 データから2 万 件 のリサンプリング 標 本 を 作 成 し 検 証 標 本 とする. 改 定 IPLP-OLDFと 改 定 IP-OLDF を 比 較 し, 改 定 IPLP-OLDFが 実 用 に 役 立 つことを 確 認. 2 万 件 のリサンプリングデータを100 組 に 分 けて, 改 定 IPLP-OLDFとLDF,ロジスティック 回 帰 と100 重 交 差 検 証 法 で 比 較. 8 4

5 6.3 応 用 研 究 (2011 年 ~2012 年 ): (1) 既 存 の 判 別 関 数 がMNM=0のデータを 認 識 できない 点 に 焦 点 試 験 の 合 否 判 定 は, 自 明 なMNM=0の 良 質 な 研 究 データである.また,MNM=0に なる 最 小 の 設 問 数 が 分 かれば, 試 験 の 質 評 価 ができるのでは( 小 林 秀 雄 )? 大 学 入 試 センターの 研 究 データ 2010 年 から 始 まった 統 計 入 門 (1 年 次 必 修 ) の 中 間 と 期 末 試 験 を, 得 点 分 布 の 10%,50%,90%を 用 いた18 個 の 合 否 判 定 で,LDFとQDFの 誤 分 類 確 率 を 求 める. (2) また, 正 則 化 判 別 関 数 の 重 大 な 瑕 疵 が 分 かる 年 の 中 間 試 験 の 小 問 100 問 で 理 由 が 分 かる. 日 本 車 44 車 種 の 普 通 車 / 小 型 車 の2 群 判 別 で, 正 則 化 判 別 関 数 の 瑕 疵 の 分 かり やすい 実 例. (3) 新 しい 小 標 本 のための100 重 交 差 検 証 法 の 確 立 重 回 帰 分 析 の 変 数 選 択 法 を 利 用. LOO 法 はあるが 良 くない. 実 データをリサンプリング 法 でケース 数 を 増 やし,100 重 交 差 検 証 法 試 験 の 合 否 判 定 試 験 の 合 否 判 定 は, 自 明 なMNM=0な 判 別 関 数 が 求 まり, 研 究 に 適 している 年 から, 経 済 学 部 1 年 生 を 対 象 に 統 計 入 門 (1 年 必 修 ) を 行 う. 中 間 と 期 末 試 験 は, 10 択 100 問 のマークセンス 試 験. テキストは, JMP 活 用 統 計 学 とっておき 勉 強 法 ( 講 談 社 ),4 件 のデータで 基 礎 統 計 量 を 筆 算 し, 体 得.その 後,JMPを 用 いて 学 生 のデータ を 分 析.2024 年 までのJMPの 体 験 版 を 添 付. 実 際 の 合 否 は, 得 点 の10% 点 で 合 格 最 低 点 で 行 うが, 研 究 のため50% 点,90% 点 を 加 える. 0/1の100 個 の 小 問 による 合 否 判 定 と,それを4 個 の 大 問 にまとめた 合 否 判 定 の 追 跡 調 査 を 行 う. 大 問 4 問 の 合 否 判 定 を 合 格 最 低 点 50 点 で 行 うと,f=T1+T2+T3+T4-50 という 自 明 な 判 別 関 数 で,f>=0なら 合 格,f<0なら 不 合 格.しかし,H-SVMと 改 定 IP-OLDFしか 理 論 的 にMNM=0になる 判 別 は 保 証 されない. すなわち,ものを 科 学 的 に 判 別 する 手 法 がMNM=0のデータを 識 別 できないことになる. 多 くの 場 合,ロジスティック 回 帰 はMNM=0が 分 かる.: 医 学 診 断,パターン 認 識,ゲノム 判 別 改 定 IP-OLDFでMNM=0になる 最 小 の 設 問 数 を 基 準 に, 他 の 判 別 関 数 を 比 較. MNM=0になる 最 小 の 設 問 数 は, 試 験 の 質 に 用 いれないかと 考 えている. 10 5

6 7.1 大 問 の 分 析 ( 大 問 4 問 の 全 ての 組 み 合 わせで 誤 分 類 数 を 求 め 増 加 法 を 示 す.) 論 文 集 作 成 のため フォント 等 の 設 定 を 下 記 の 様 に 取 り 決 めさせていただきます 論 文 集 のページ 総 数 の 関 係 上 一 編 につき30ページを 目 安 に 作 成 していただけるようお 願 いいたします これを 超 える 場 合 には 調 整 をお 願 いする 場 合 もありますのでご 了 承 下 さい なお 論 文 集 には2 面 割 付 で 掲 載 されます ご 不 明 点 ございましたら 発 表 担 当 事 務 局 までお 問 合 せください 個 の 合 否 判 定 のまとめ LDFの 誤 分 類 確 率 は[2.3,16.7]で,QDFは[0.8,10.8]. [ ] [ ] 10% 水 準 では[4.2,11.9]と[0.8,8.5]でQDFが 良 い. 50% 水 準 では[2.3,4.9]と[2.3,5]でほぼ 同 じ. 90% 水 準 では[3.3,16.7]と[4.5,10.8]でQDFが 良 い. 12 6

7 7.2 小 問 の 合 否 判 定 (pは 変 数 増 加 法 でMNM=0のモデルで,LDFとQDFは0でない) 論 文 集 作 成 のため フォント 等 の 設 定 を 下 記 の 様 に 取 り 決 めさせていただきます 論 文 集 のページ 総 数 の 関 係 上 一 編 につき30ページを 目 安 に 作 成 していただけるようお 願 いいたします これを 超 える 場 合 には 調 整 をお 願 いする 場 合 もありますのでご 了 承 下 さい なお 論 文 集 には2 面 割 付 で 掲 載 されます ご 不 明 点 ございましたら 発 表 担 当 事 務 局 までお 問 合 せください 13 正 則 化 判 別 関 数 の 問 題 10% 水 準 の 合 否 判 定 は, 変 数 増 加 法 でX15が2 変 数 目 に 入 ってくると, 不 合 格 群 が 全 て0 点 で, 合 格 群 が0 点 と1 点 でばらつき, 合 格 群 の114 名 全 員 が, 不 合 格 群 に 誤 判 別 される. 不 合 格 群 のX15にN(0,0.0001)の )の 小 さな 乱 数 を 加 えると, になる. 90%の 合 否 判 定 は,X92の 合 格 群 の 全 員 が 正 解 で1 点 を 取 り, 不 合 格 群 がばらつく. 合 格 群 の 全 員 が 不 合 格 群 に 誤 判 別 される. 3 年 間, 正 則 化 判 別 関 数 の 瑕 疵 が 分 からなかった X92に 乱 数 を 与 えても 結 果 は 変 わらない. 14 7

8 総 排 気 量 は 普 通 車 / 小 型 車 もばらつく. 定 員 は 小 型 車 が4 人, 普 通 車 は5 人 以 上 で,これが 問 題 を 起 こす.T 検 定 は 影 響 されない! 論 文 集 作 成 のため フォント 等 の 設 定 を 下 記 の 様 に 取 り 決 めさせていただきます 論 文 集 のページ 総 数 の 関 係 上 一 編 につき30ページを 目 安 に 作 成 していただけるようお 願 いいたします これを 超 える 場 合 には 調 整 をお 願 いする 場 合 もありますのでご 了 承 下 さい なお 論 文 集 には2 面 割 付 で 掲 載 されます ご 不 明 点 ございましたら 発 表 担 当 事 務 局 までお 問 合 せください 重 交 差 検 証 法 8.1 通 常 のアプローチ 実 データから, 一 様 乱 数 でケースを 抽 出 し,ケース 数 と 変 数 の 同 じ100 組 の 標 本 を 作 製. 100 重 交 差 検 証 法 で, 改 定 IPLP OLDF(MNMの 近 似 値 )と,LDF, ロジスティックを,4 種 の 実 データの135 組 の 異 なった 判 別 モデ ルで 比 較. LDFは 改 定 IPLP OLDFより, 検 証 標 本 で 僅 か15 個 で 良 かった. ロジスティック 回 帰 は, 教 師 標 本 で3 個, 検 証 標 本 で33 個 良 い だけである. 16 8

9 135この 判 別 モデルで,100 個 の 誤 分 類 確 率 の 平 均 を 比 較 LDFは 評 価 標 本 で120 個 改 定 IPLP OLDFより 悪 い ロジスティック 回 帰 は, 教 師 標 本 で132 個, 検 証 標 本 で102 個 悪 い MNM 基 準 は, 評 価 標 本 で 良 い 結 果! LDF 改 定 IPLP Logi 改 定 IPLP 135 model 教 師 (0) 検 証 (15) 教 師 (3) 検 証 (33) 最 小 値 最 大 値 最 小 値 最 大 値 最 小 値 最 大 値 最 小 値 最 大 値 アイリス (15) (2) (2) 銀 行 (63) 学 生 (31) CPD (26) (10) (3) (24) (3) (7) LOO 法 の 検 証 2012 年 の 中 間 ( 大 問 10%) 論 文 集 作 成 のため フォント 等 の 設 定 を 下 記 の 様 に 取 り 決 めさせていただきます 論 文 集 のページ 総 数 の 関 係 上 一 編 につき30ページを 目 安 に 作 成 していただけるようお 願 いいたします これを 超 える 場 合 には 調 整 をお 願 いする 場 合 もありますのでご 了 承 下 さい なお 論 文 集 には2 面 割 付 で 掲 載 されます ご 不 明 点 ございましたら 発 表 担 当 事 務 局 までお 問 合 せください 18 9

10 8.3 改 善 法 (1) 100 組 のリサンプリング 標 本 の 作 成 方 法 実 データをJMPで100 個 コピー. 一 様 乱 数 を 与 えた 後, 昇 順 に 並 べ 替 える. 実 データと 同 じケース 数 で,100 組 の 標 本 に 分 割 し, 標 本 番 号 を1から100まで 振 る. (2)100 重 交 差 検 証 法 1 組 から100 組 までを 教 師 標 本 として, 検 証 標 本 は100 組 全 体 に 固 定. 1 組 を 教 師 標 本 とし, 残 り99 組 を 検 証 標 本 とすると 検 証 標 本 はその 都 度 異 な る.100 組 を 用 いると, 実 データと 同 じ 性 格 を 有 する 疑 似 母 集 団 になる. (3) 評 価 方 法 改 定 IP OLDFとS SVMはLINGO[51,52]で,LDFとロジスティック 回 帰 はJMPの100 重 交 差 検 証 法 [8,10,24]で 比 較. (4) 実 績 4 種 の 実 データ, 統 計 入 門 の 合 否 判 定 データで 実 施. 19 MNM 基 準 による 判 別 関 数 は, 検 証 標 本 でOverestimateしない! むしろ, 正 規 分 布 を 仮 定 すると 悪 い! LDF - MNM Logi - MNM SVM - MNM 81 models Training Evaluation (6) Training (2) Evaluation (9) Training (3) Evaluation (18) Min/Max Min/Max Min /Max Min/Max Min /Max Min/Max Iris(15) 0.9/ (1)/ / / / (1)/5.56 銀 行 (16) 05/ / (2)/1.03 0/0-1.3(2)/ / / (1)/1.37 1(1)/1 学 生 (31) 1.2/ (3)/ (2)/ (7)/ (1)/ (12)/2.22 CPD(19) 3.1/ / /2.90 0/ (2)/ (4)/

11 大 問 (15モデル 中,4,3 変 数 (Model2 5)と2 変 数 (Model6) これを 超 える 場 合 には 調 整 をお 願 いする 場 合 もありますのでご 了 承 下 さい なお 論 文 集 には2 面 割 付 で 掲 載 されます ご 不 明 点 ございましたら 発 表 担 当 事 務 局 までお 問 合 せください まとめ 判 別 関 数 の 評 価 改 定 IP OLDF: 判 別 分 析 の 全 ての 問 題 に 対 応.100 重 交 差 検 証 法 による 評 価 も, 4 種 の 実 データと, 統 計 入 門 の 合 否 判 定 で, 他 手 法 より 優 れている. すなわち, 検 証 標 本 で 悪 くない! ロジスティック 回 帰 : 比 較 的 判 別 結 果 は,2 番 目 に 良 い.MNM=0のデータも 多 くの 場 合 に 認 識. H SVM : MNM=0のデータしか 対 応 できない.MNM=0のデータの 研 究 がない. S SVM: cが 小 さいとMNM=0に 対 応 できない. 最 適 なcの 決 定 法 がない.Cが 大 きいと 改 定 LP OLDF, 0であればH SVMとほぼ 同 じ. 統 計 手 法 との 比 較 がない. Kernel SVMは, 統 計 手 法 と100 重 交 差 検 証 法 で 比 較 評 価 すべき. 分 散 共 分 散 行 列 に 基 づくLDF,QDF, 多 群 判 別 はその 使 命 が 終 焉 したのでは? 小 標 本 のための100 重 交 差 検 証 法 重 回 帰 分 析 の 統 計 量 の 流 用 や,LOO 法 より 有 用. 100 個 の 判 別 係 数 や 誤 分 類 確 率 から 経 験 的 な95% 信 頼 区 間 が 分 かる

12 LINGO の 数 理 計 画 法 モデル Excel 上 にデータを 作 成 し, 汎 用 のS SVMと 改 定 IP OLDFの 以 下 のモデルで 簡 単 に 実 行 できる. MODEL:! 汎 用 学 生 ; SETS: P; P2; P1:VARK; N:E,CONSTANT,SCORE; SCORE; MS:;V2:;G2:PENALTYG; D(N,P1):IS;MB(MS,P1):CHOICE;ERR(MS,G2):IC,ZERO,ICP; VG(V2,P2):VARK100;NE(N,MS):; ENDSETS DATA: P=1..19;P1=1..20;P2=1..21;N=1..240;G2=1..7;MS=1..19;V2=1..133; CHOICE,IS,PENALTYG=@OLE(); ENDDATA SUBMODEL SVM: MIN=ER; >= 1 ENDSUBMODEL SUBMODEL RIP: MIN=ER; ER=@SUM(N(i):E(i));@FOR(N(i):@SUM(P1(J1):IS(i,J1)*VARK(J1)*CHOICE(k,J1)) > ENDSUBMODEL 1)+K,J1)=VARK(J1)*CHOICE(k,J1) ); VARK100(@SIZE(MS)*(G NMp=NMp+1)); IC(K,G)=NM; ZERO(K,G)=Z;ICP(K,G)=NMP;K=K+1);G=G+1); ENDCALC )=VARK100,IC,ZERO,ICP; ENDDATA END 23 JMPの100 重 交 差 検 証 法 Excel 上 にデータを 与 えるだけで,LDFとロジス ティック 回 帰 の100 重 交 差 検 証 法 が 可 能. JMP 事 業 部 の 協 力 で 作 製. 利 用 したい 人 は, 連 絡 ください

13 文 献 の 一 部 [1] 新 村 秀 一, 北 川 護, 高 木 義 人, 野 村 裕 (1973). 二 段 階 重 みづけによるスペクタル 診 断, 第 12 回 日 本 ME 学 会 大 会 論 文 集, [4] 新 村 秀 一 (1984a). 医 療 データ 解 析,モデル 主 義,そしてOR,オペレーションズ リサーチ,29-7, [8] 新 村 秀 一 (2004). JMP 活 用 統 計 学 とっておき 勉 強 法, 講 談 社. [10] 新 村 秀 一 (2007d).JMPによる 統 計 レポート 作 成 法, 丸 善. [17] 新 村 秀 一, 鈴 木 隆 一 郎, 中 西 克 己 (1981). 胃 X 線 像 の 各 種 判 別 分 析,オペレーションズ リサーチ,26-1, [19] 新 村 秀 一, 鈴 木 隆 一 郎, 中 西 克 己 (1983). 各 種 判 別 手 法 を 用 いた 医 療 データ 解 析 の 標 準 化 マンモグラフィに よる 乳 癌 の 診 断 医 療 情 報 学,3-2, [24] J.Sall 他 (2004).JMPを 用 いた 統 計 およびデータ 分 析 入 門.SASジャパン. [41]A.Miyake & S.Shinmura (1976). Error rate of linear discriminant function, F.T. de Dombal & F.Gremy, editors , North- Holland Publishing Company [42] 新 村 秀 一, 三 宅 章 彦 (1983). 重 回 帰 分 析 と 判 別 解 析 のモデル 決 定 (1) 19 変 数 をもつC.P.Dデータの 多 重 共 線 性 の 解 消, 医 療 情 報 学,3-3, [45] 新 村 秀 一, 飯 田 和 美, 丸 山 千 里 (1987h).SSM( 人 型 結 核 菌 鯛 抽 出 物 質, 丸 山 ワクチン)の 癌 治 療 における 帰 無 仮 説 モデルによる 評 価. 医 療 情 報 学,7-3, [50] 新 村 秀 一 (2007 ).ExcelとLINGOで 学 ぶ 数 理 計 画 法. 丸 善. [51] 新 村 秀 一 (2010). 最 適 線 形 判 別 関 数. 日 科 技 連. [52] 新 村 秀 一 (2011). 数 理 計 画 法 による 問 題 解 決 法. 日 科 技 連. (1)_(2013). 統 計 教 育 における 判 別 分 析 の 改 善 点. 統 計 数 理 研 究 所 共 同 研 究 レポート293- 統 計 教 育 実 践 研 究 第 5 巻, (2) Friedman, J. H. (1989).Regularized Discriminant Analysis.Journal of the American Statistical Association, 84/405,