サイオステクノロジー株式会社

Transcription

1 サイオステクノロジー株式会社 Version1.2.7

2 目次 1. 機械学習とは 人工知能と機械学習の歴史 人工知能の進化と機械学習 従来の人工知能の限界 学習する人工知能 機械学習で強くなった将棋ソフト さらに機械学習で強くなった囲碁ソフト 機械学習とボードゲームの進化 機械学習が着目された理由 身近なところの機械学習 機械学習とは モデルの作成と適用 学習段階 実運用段階 まとめ 機械学習の分類 クラス分類と回帰とクラスタリング 機械学習の分類 教師あり学習と教師なし学習 教師あり学習 : クラス分類と回帰 教師なし学習 : クラスタリング 機械学習の代表的な手法 機械学習の分類 中間的手法 中間的手法 : 半教師あり学習 中間的手法 : 強化学習 中間的手法 : 深層学習 まとめ モデル作成の基本的な手順 Weka で機械学習を学ぶメリット モデル作成の手順の流れ モデル作成の例題 種類のアヤメ アヤメの がく と 花びら データの準備 ARFF 形式のアヤメのデータ Weka の起動 KnowledgeFlow の起動 データの読み込み 評価法の設定 ホールドアウト法 交差確認法 学習法の設定 サイオステクノロジー株式会社 2

3 3.15. k 近傍法 (k-nn 法 ) 結果の可視化 評価の指標 適合率と再現率 正解率の落とし穴 まとめ 決定木によるクラス分類 クラス分類のおさらい 学習データの形式の違い 学習データがグループのクラス分類手法 学習データが数値のクラス分類手法 学習データの形式の変換 決定木 二十の扉 決定木への修正 まとめ サイオステクノロジー株式会社 3

4 1. 機械学習とは 1.1. 人工知能と機械学習の歴史 1.2. 人工知能の進化と機械学習 第 1 次 第 2 次人工知能ブーム 基本的に人間が作った数式や推論ルールに従って コンピューターが動くというものでした 人工知能と名が付いていますが 実際にはただのプログラムと言ったほうが良いかもしれません 第 3 次人工知能ブーム 人間の知識や経験を必要とせず コンピューターがデータから直接学習します 与えられたデータからコンピューターが自ら学習するために機械学習が用いられています 機械学習によって人工知能の機能や役割は劇的に変わりました 1 機械学習とは 4

5 1.3. 従来の人工知能の限界 1. 人間が ネコ の情報をルール化し プログラミング ネコとは 目は 2 つあって丸い 耳は 2 つあって三角形 口は へ の字 ひげがある 2. ルールに従って ネコ を識別 これは ネコ? 人間が着眼点を逐一教える必要がある 漏れなく的確に記述するのは膨大で困難な作業 人工知能という名前が付けられていても 実際には人間が作った ルール 通りに動いているにすぎませんでした 人間が決めた ルール の範囲でしか動きませんでした 現実社会で人間並みに振る舞うための ルール の数は膨大で 教えきれませんでした 教えた ルール が数千 数万に増えると 予期せぬ相互干渉 矛盾が生じ 期待通りに機能しなくなりました 1 機械学習とは 5

6 1.4. 学習する人工知能 1. 無造作に大量の画像データを教材として入力 2. 共通の特徴を持つモノを自律的に学習する 人間は名前を教えるだけ パターンの抽象化 それは ネコ です 3. 学習結果に従って ネコ を識別 これは ネコ! 機械学習を利用し 与えられたデータから自ら学習する人工知能が登場しました データ を教材としてコンピューターが自ら学習します コンピューターがどのような機械学習の方式で学習するかは人間が決めますが 具体的な学習はコンピューターが行います 人間が教えずとも 人間にとって未知のことも含め新たな知識を身につけます 1 機械学習とは 6

7 1.5. 機械学習で強くなった将棋ソフト ボナンザ 実際に動かしている様子 将棋ソフトの開発では 長い間 人間が手作業でプログラミングを行ってきました そのため 開発者の棋力や固定観念に強く影響を受けました 機械学習を取り入れた ボナンザ という将棋ソフトが登場しました 世界コンピューター将棋大会に初出場で初優勝します ボナンザ は 人間の知識や経験というものを排除し 純粋に 6 万の棋譜データから知識を学習しました 1 機械学習とは 7

8 1.6. さらに機械学習で強くなった囲碁ソフト アルファ碁とイ セドル九段の対決 アルファ碁が勝利した第 1 局白 : アルファ碁黒 : イ セドル九段 グーグル子会社が 機械学習の手法の一つである深層学習を利用し アルファ碁 という囲碁ソフトを開発します 局面数が桁違いに多い囲碁では コンピューターがトッププロを破るのは難しいと言われてきましたが アルファ碁 が 2016 年 3 月に韓国のトッププロを 4 勝 1 敗で退け 世界に衝撃を与えました 1 機械学習とは 8

9 1.7. 機械学習とボードゲームの進化 1.8. 機械学習が着目された理由 機械学習は 人工知能の研究から発展しました 人工知能の研究者たちは コンピューターがデータから学習できるのではないかと考えました 人工知能の研究者たちは それぞれの目的に応じて 統計やその他の手法を総動員して 様々な機械学習の手法を開発してきました 機械学習によって人工知能の機能や役割は劇的に変わりました 1 機械学習とは 9

10 1.9. 身近なところの機械学習 迷惑メールフィルタ おすすめ商品を提示するレコメンデーション 1 機械学習とは 10

11 1.10. 機械学習とは 機械学習とは データから学習し そこに潜む規則を見つけ出すことです そして新たなデータに対して 学習の結果獲得した規則をあてはめることで 将来を予測することができます 機械学習のポイントは データから学習 すること 例えば 迷惑メールを分類するために手作業でルールを記述することもできます 機械学習ではこのルールを過去のデータから学習して作成することが 従来のプログラムと大きく異なります モデルの作成と適用 機械学習で学習を行い獲得した規則の集合を モデル といいます 機械学習とは データからモデルを作成することであるともいえます 機械学習には 学習段階と実運用段階の 2 段階があります 学習段階 学習データからモデルを作成します 実運用段階 学習の結果得られたモデルを 新たなデータに対して適用し予測を行います 1 機械学習とは 11

12 1.12. 学習段階 学習データ 実データ モデルの作成 モデルの適用 モデルの評価 予測結果 作成したモデルの評価を行い モデルの精度が高くなるよう繰り返しパラメーターやモデル作成手法の調整を行う 実運用段階 学習データ モデル 実データ モデルの作成 モデルの適用 モデルの評価 予測結果 実データに対し作成したモデルを適用し 予測を行う 1 機械学習とは 12

13 1.14. まとめ 人工知能の進化と機械学習 人間が考えるルールベースの人工知能の限界から コンピューターが考える機械学習が生まれ その結果人工知能の分野が劇的に進化しました 機械学習が着目された理由と機械学習とは何か 人工知能の研究の中で データから学習させるということに着目し コンピューターが自ら学習する機械学習が発展しました 機械学習のモデル 実際の機械学習とは 学習データから モデル を作成することです 機械学習には モデルを作成する学習段階と モデルを適用する実運用段階の 2 つがあります 1 機械学習とは 13

14 2. 機械学習の分類 2.1. クラス分類と回帰とクラスタリング OK 迷惑メールフィルタ NG クラス分類 : 迷惑メールフィルタ 回帰 : 株価予測 クラスタリング : 顧客のグルーピング 2 機械学習の分類 14

15 2.2. 機械学習の分類 機械学習 教師あり学習 教師なし学習 クラス分類 回帰 クラスタリング OK 迷惑メールフィルタ NG 2 機械学習の分類 15

16 2.3. 教師あり学習と教師なし学習 教師あり学習は 学習データに正解データが付いています 学習データに正解を手本として与えることで 正解を導く規則をコンピューターが学習する方法です 迷惑メールフィルタ OK クラス分類 回帰 NG 教師なし学習は 学習データに正解データが付いていません 何かを学習するということではなく 学習データからその背後にある規則性を見つけ出す方法です クラスタリング 2 機械学習の分類 16

17 2.4. 教師あり学習 : クラス分類と回帰 クラス分類 これは迷惑メール? Yes No モデル 回帰 明日の株価予測は? 16,000 円 モデル 正解データが グループ で与えられる場合を クラス分類 といいます クラス分類は 入力データを正解データで与えられたグループ群のどれかに分類します 正解データが 数値 の場合を 回帰 といいます 回帰は 入力データから予測される妥当な値を出力します 典型的なクラス分類の例は 音声や文字の認識 迷惑メールの判定 病気の有無の判定などがあります 典型的な回帰の例は 販売予測 株価の変動予測などがあります 2 機械学習の分類 17

18 2.5. 教師なし学習 : クラスタリング 値の類似性に着目して 対象データを複数のグループに分けます データから適切なまとまりを作ることでグループを推定する手法を クラスタリング といいます クラスタリングを実施すると データがいくつかのグループに集約されます この集約されたクラスタリングの結果は 未知のデータの特性を把握するために利用します クラス分類と似ていますが クラス分類は正解として予め与えられたグループ群のどれかに分類するのに対して クラスタリングは正解としてのグループ群がない状態からデータの性質に基づいていくつかのグループに分類します 典型的なクラスタリングの例は 顧客のセグメント分けなどがあります 2 機械学習の分類 18

19 2.6. 機械学習の代表的な手法 学習データの特徴 学習結果の特徴 代表的な手法 教師あり学習 クラス分類 決定木ナイーブベイズロジスティック回帰サポートベクトルマシン 回帰 線形回帰 回帰木 教師なし学習クラスタリング階層的クラスタリング k-means 法 2 機械学習の分類 19

20 2.7. 機械学習の分類 機械学習 教師あり学習 教師なし学習 中間的手法 クラス分類 OK 回帰 半教師あり学習強化学習深層学習 クラスタリング 迷惑メールフィルタ NG 2.8. 中間的手法 教師あり学習 教師なし学習 にあてはまらない手法を 中間的手法 として説明します 学習データが正解付き 正解なしの混在とみなせるものが 半教師あり学習 と 強化学習 です 学習手法そのものが教師あり 教師なしの組み合わせとなっているものが 深層学習 です 2 機械学習の分類 20

21 2.9. 中間的手法 : 半教師あり学習 中間的手法 : 強化学習 個々のデータに対して正解は与えられないが 行動を通じた報酬が最大になるように学習する手法を 強化学習 といいます 中間的手法 : 深層学習 ニューラルネットワークとは 脳細胞の機能をコンピューター上のシミュレーションで表現することを目指したものです 深層学習 は 多層のニューラルネットワークを用いた学習手法です 2 機械学習の分類 21

22 2.12. まとめ 機械学習の様々な手法 機械学習には様々な手法があり 教師あり学習 と 教師なし学習 に大きく分類されます 教師あり学習と教師なし学習 学習データに正解データが付いているものを 教師あり学習 正解データが付いていないものを 教師なし学習 といいます 教師あり学習は クラス分類 と 回帰 に分類されます 教師なし学習には クラスタリング があります 中間的手法 中間的手法には 半教師あり学習 強化学習 深層学習 があります 2 機械学習の分類 22

23 3. モデル作成の基本的な手順 3.1. Weka で機械学習を学ぶメリット Weka とは Java で開発された機械学習用ライブラリ群と GUI を備えた OSS のツールです 費用や時間をかけずに手軽にスタートできます GUI の簡単操作で機械学習を試すことができ 手法の理解に専念できます 機械学習のアルゴリズムは既に用意されているので 難しい数学の素養や 高度なプログラミング技能は必要ありません 3.2. モデル作成の手順の流れ 各ステップで理解しておくべき内容を解説した後で 各ステップの作業を支援してくれるツールを使いながら 具体的なデータでその内容を説明します 各ステップは以下の 5 つです データの準備 データの読み込み 評価法の設定 学習法の設定 結果の可視化 3 モデル作成の基本的な手順 23

24 3.3. モデル作成の例題 例題として アヤメのがくと花びらの幅と長さから アヤメの種類を判定するモデルを作成します アヤメ ( 綾目 ) は アヤメ科アヤメ属の多年草 ショウブ ( 菖蒲 ) とは異なる 種類のアヤメ セトナ (setosa) バージニカ (virginica) バーシクル (versicolor) 3 モデル作成の基本的な手順 24

25 3.5. アヤメの がく と 花びら sepal : がくの幅 長さ petal : 花びらの幅 長さ 3.6. データの準備 データの準備 データの読み込み 評価法の設定 学習法の設定 結果の可視化 ここでは Weka に付属のアヤメのデータを利用します 通常 CSV 形式でデータが用意されることが多いですが Weka では CSV 形式に詳細なヘッダ情報を加えた ARFF 形式のファイルをデータとして用います 3 モデル作成の基本的な手順 25

26 3.7. ARFF iris % sepallength REAL % sepalwidth REAL % petallength REAL % petalwidth REAL % class {Iris-setosa, Iris-versicolor, Iris-virginica} % 3 5.1, 3.5, 1.4, 0.2, Iris-setosa 4.9, 3.0, 1.4, 0.2, Iris-setosa 4.7, 3.2, 1.3, 0.2, Iris-setosa 7.0, 3.2, 4.7, 1.4, Iris-versicolor 6.4, 3.2, 4.5, 1.5, Iris-versicolor 6.9, 3.1, 4.9, 1.5, Iris-versicolor 6.3, 3.3, 6.0, 2.5, Iris-virginica 5.8, 2.7, 5.1, 1.9, Iris-virginica 7.1, 3.0, 5.9, 2.1, Iris-virginica 3.8. Weka の起動 これからアヤメのデータを k 近傍法でクラス分類するモデルを Weka を使って作成します Weka の Knowledge Flow インタフェースを起動します 3 モデル作成の基本的な手順 26

27 3.9. KnowledgeFlow の起動 画面レイアウト 3 モデル作成の基本的な手順 27

28 フロー完成図 データの読み込み データの準備 データの読み込み 評価法の設定 学習法の設定 結果の可視化 学習データを読み込むための部品をレイアウト画面に配置します ARFF 形式のファイルを読み込む部品として ArffLoader を選択します 教師あり学習の場合 正解データを表す CSV のカラムを指定する必要があります そのための部品として ClassAssigner を追加します 3 モデル作成の基本的な手順 28

29 ArffLoader をクリックし アイコンをレイアウトキャンパスに配置する ArffLoader アイコン上で右クリックし メニューから Configure を選択する 3 モデル作成の基本的な手順 29

30 Browse ボタンをクリックする data フォルダをクリックする 3 モデル作成の基本的な手順 30

31 iris.arff ファイルをクリックする ファイル名に iris.arff が入力されていることを確認して Select ボタンをクリックする 3 モデル作成の基本的な手順 31

32 OK ボタンをクリックする ClassAssigner をクリックして アイコンをレイアウトキャンパスに配置する 3 モデル作成の基本的な手順 32

33 ArffLoader アイコン上で右クリックし メニューから dataset を選択する カーソルを ClassAssigner 上でクリックし dataset の線をつなぐ 3 モデル作成の基本的な手順 33

34 ClassAssigner アイコン上で右クリックし メニューから Configure を選択する Choose class attribute に class が入力されていることを確認し OK ボタンをクリックする 3 モデル作成の基本的な手順 34

35 3.11. 評価法の設定 データの準備 データの読み込み 評価法の設定 学習法の設定 結果の可視化 正解のわからない未知のデータに対してどれだけの正解率が期待できるかが評価のポイントになります 未知のデータを意図的に作り出して 評価を行います 学習データの一部を評価用データに使用する方法を ホールドアウト法 といいます 学習データが減ってしまう ホールドアウト法 に対して 減らない方法として 交差確認法 があります ホールドアウト法 交差確認法 3 モデル作成の基本的な手順 35

36 CrossValidationFoldMaker をクリックして アイコンをレイアウトキャンパスに配置する ClassAssigner アイコン上で右クリックし メニューから dataset を選択する 3 モデル作成の基本的な手順 36

37 カーソルを CrossValidationFoldMaker 上でクリックし dataset の線をつなぐ CrossValidationFoldMaker アイコン上で右クリックし メニューから Configure を選択する 3 モデル作成の基本的な手順 37

38 Number of folds に 10 が入力されていることを確認し OK ボタンをクリックする 学習法の設定 データの準備 データの読み込み 評価法の設定 学習法の設定 結果の可視化 学習手法として k 近傍法 を使用します k 近傍法は 入力されたデータに近い学習データを近い順に k 個選び 多数決で所属するクラスを決定します k 近傍法で調整すべきパラメータは 近傍としていくつまでの学習データを考えるか すなわち k の値になります 3 モデル作成の基本的な手順 38

39 3.15. k 近傍法 (k-nn 法 ) IBk をクリックして アイコンをレイアウトキャンパスに配置する 3 モデル作成の基本的な手順 39

40 CrossValidationFoldMaker アイコン上で右クリックし メニューから trainingset を選択する カーソルを IBk 上でクリックし trainingset の線をつなぐ 3 モデル作成の基本的な手順 40

41 CrossValidationFoldMaker アイコン上で右クリックし メニューから testset を選択する カーソルを IBk 上でクリックし testset の線をつなぐ 3 モデル作成の基本的な手順 41

42 IBk アイコン上で右クリックし メニューから Configure を選択する KNN に 3 を入力し OK ボタンをクリックする 3 モデル作成の基本的な手順 42

43 3.16. 結果の可視化 データの準備 データの読み込み 評価法の設定 学習法の設定 結果の可視化 学習結果を可視化するには まずクラス分類の結果を評価する評価部品と 表やグラフとして表示する可視化部品を配置します 評価部品としては クラス分類用の評価部品である ClassifierPerformanceEvaluator を使用します 可視化部品は TextViewer を使用します ClassifierPerformanceEvaluator をクリックして アイコンをレイアウトキャンパスに配置する 3 モデル作成の基本的な手順 43

44 IBk アイコン上で右クリックし メニューから batchclassifier を選択する カーソルを ClassifierPerformanceEvaluator 上でクリックし batchclasifier の線をつなぐ 3 モデル作成の基本的な手順 44

45 TextViewer をクリックして アイコンをレイアウトキャンパスに配置する ClassifierPerformanceEvaluator アイコン上で右クリックし メニューから text を選択する 3 モデル作成の基本的な手順 45

46 カーソルを TextViewer 上でクリックし text の線をつなぐ 実行ボタンをクリックし ステータスに OK が表示されることを確認する 3 モデル作成の基本的な手順 46

47 TextViewer アイコン上で右クリックし メニューから Show results を選択する 評価レポート 3 モデル作成の基本的な手順 47

48 3.17. 評価の指標 正解率 (accuracy) 正解率 = 正解数 / 全データ数 143 / 150 = ( 約 95.3%) 適合率 (precision) モデルが と推測したデータのうち 正解も であるデータの割合 再現率 (recall) 正解が であるデータのうち モデルが と推測したデータの割合 適合率と再現率 3 モデル作成の基本的な手順 48

49 3.19. 正解率の落とし穴 正解率は最も基本的な指標であり 対象となるモデルの精度を大まかに把握するのに適しています しかし 弱点もあります 正解率の落とし穴 例えば 迷惑メールの仕分けの例で 評価用データの 5% が迷惑メールだったとします このとき モデルがすべてのメールを闇雲に 迷惑メールでない と判定しても 95% もの高い正解率を示してしまいます 正解率以外の指標も考慮しないと 精度の良し悪しを見誤ってしまう恐れがあります まとめ モデル作成の基本的な手順 モデルを作成する基本的な手順は データの準備 データの読み込み 評価法の設定 学習法の設定 結果の可視化 の 5 つに分かれます k 近傍法 入力されたデータに近い学習データから多数決で所属するクラスを決める手法を k 近傍法 といいます モデルの評価と指標 モデルを評価する指標には 正解率 適合率 再現率 などがあります 3 モデル作成の基本的な手順 49

50 4. 決定木によるクラス分類 4.1. クラス分類のおさらい 学習データに正解データが付いているものが 教師あり学習 でした 教師あり学習 の中でも正解が数値ではなくグループで与えられるのが クラス分類 でした クラス分類 は 学習データの与えられ方がグループか数値かで 適用する手法がさらに分かれます 4.2. 学習データの形式の違い 学習データが グループ で与えられた例 年齢 メガネ 乱視 涙量 コンタクト 若年 近視 なし 減少 なし 若年 近視 なし 正常 ソフト 老眼 近視 あり 減少 なし 老眼前期 遠視 なし 正常 ソフト 若年 近視 あり 正常 ハード 学習データが 数値 で与えられた例 がくの長さ がくの幅 花びらの長さ 花びらの幅 アヤメの種類 セトナ セトナ バーシクル バーシクル バージニカ 4 決定木によるクラス分類 50

51 4.3. 学習データがグループのクラス分類手法 非統計的手法 決定木 統計的手法 : 結果に確信度の付与が可能 ナイーブベイズ 確信度とは モデルが出力する分類結果に対して その確からしさを数値で表したもの 例えば病気判定のクラス分類の場合 非統計的手法では病気の有無しか判定できませんが 統計的手法では判定結果に確率がつけられます 4.4. 学習データが数値のクラス分類手法 非統計的手法 決定木 統計的手法 ナイーブベイズ ロジスティック回帰 サポートベクトルマシン 4 決定木によるクラス分類 51

52 4.5. 学習データの形式の変換 年齢 メガネ 乱視 涙量 コンタクト 若年 近視 なし 減少 なし 若年 近視 なし 正常 ソフト 老眼 近視 あり 減少 なし 老眼前期 遠視 なし 正常 ソフト 若年 近視 あり 正常 ハード グループで与えられたデータを数値に変換 年齢 - 若年 年齢 - 老眼 年齢 - 老眼前期 メガネ - 近視 メガネ - 遠視 乱視 - なし 乱視 - あり 決定木 学習結果のモデル ( 決定木 ) を人間が見て理解しやすいという特徴があります 決定木 とは データを分類する質問をノード ( 節 ) 分類結果をリーフ ( 葉 ) とする木構造です 4 決定木によるクラス分類 52

53 Weka で作成した決定木 4.7. 二十の扉 二十の扉 は 出題者が思い浮かべた答えを 解答者が 20 個以内の質問で当てるクイズです うまく対象を絞れる質問を初めに持ってくるほうが 答えにたどり着く確率が高まります 4 決定木によるクラス分類 53

54 4.8. 決定木への修正 アヤメのデータを決定木でクラス分類するモデルを作成します k 近傍法で作成したモデルを修正します データ準備 から 評価法の設定 までは同じなので そのまま利用します 学習法の設定 は k 近傍法から決定木に変更します 結果の可視化 として 決定木を表示する GraphViewer を追加します データの準備 データの読み込み 評価法の設定 学習法の設定 結果の可視化 IBk アイコンに注目する 4 決定木によるクラス分類 54

55 IBk アイコン上で右クリックし メニューから Delete を選択する J48 をクリックして アイコンをレイアウトキャンパスに配置する 4 決定木によるクラス分類 55

56 CrossValidationFoldMaker アイコン上で右クリックし メニューから trainingset を選択する カーソルを J48 上でクリックし trainingset の線をつなぐ 4 決定木によるクラス分類 56

57 CrossValidationFoldMaker アイコン上で右クリックし メニューから testset を選択する カーソルを J48 上でクリックし testset の線をつなぐ 4 決定木によるクラス分類 57

58 J48 アイコン上で右クリックし メニューから batchclassifier を選択する カーソルを ClassifierPerformanceEvaluator 上でクリックし batchclasifier の線をつなぐ 4 決定木によるクラス分類 58

59 実行ボタンをクリックし ステータスに OK が表示されることを確認する TextViewer アイコン上で右クリックし メニューから Show results を選択する 4 決定木によるクラス分類 59

60 J48 をクリックし J48 の評価レポートを表示する GraphViewer をクリックして アイコンをレイアウトキャンパスに配置する 4 決定木によるクラス分類 60

61 J48 アイコン上で右クリックし メニューから graph を選択する カーソルを GraphViewer 上でクリックし graph の線をつなぐ 4 決定木によるクラス分類 61

62 実行ボタンをクリックし ステータスに OK が表示されることを確認する GraphViewer アイコン上で右クリックし メニューから Show plots を選択する 4 決定木によるクラス分類 62

63 決定木 4.9. まとめ クラス分類の各手法 学習データがグループか数値かで 適用できる手法に違いが出てきます グループで与えられたデータを数値データに変換する方法があります 決定木 二十の扉 の考え方が 決定木を作る考え方の基礎にあります 4 決定木によるクラス分類 63