新技術説明会　様式例

Size: px

Start display at page:

Download "新技術説明会　様式例"

あかりことじ
5 years ago
Views:

1 1 構造適応型深層学習法による異種データの学習速度の向上と深層学習における逐次的データの自動学習県立広島大学高度人工知能プロジェクト研究センターセンター長 ( 兼 ) 経営情報学部教授市村匠

2 2 内容 1 構造適応型深層学習法の開発 2 異種データにおける学習速度の向上 3 逐次データの自動学習システムの開発 1 のアルゴリズムは既に論文発表済み.2,3 は未公開特許出願.

3 3 背景近年,Deep Learning( 人工知能 ) によるビックデータの利活用が盛んに行われている. 例 : 画像認識, 機器の制御, 医療診断, 農業支援人工知能 (AI) 2AI を用いたデータ分析例 : 時系列予測データサーバ 1IoT 機器から収集されたデータのアップロード 3 分析結果をダウンロードセンサー

4 4 Deep Learning ( 深層学習 ) 入力データを階層的に学習し ( 事前学習 ), 学習した特徴を組み合わせることで, 全体的な特徴から具体的かつ詳細な特徴を抽出できる. 畳み込みニューラルネットワーク (CNN), 自己符号化器 (Auto Encoder), Deep Belief Network (DBN), 各層における特徴抽出 ( 事前学習 ) 学習した全体の特徴を微調整 (fine tuning) 車 : 1% 犬 : 10% 猫 : 89% 入力画像画素エッジ部品物体下位層抽象的な特徴を表現上位層入力画像の分類を予測 ( 識別 ) 具体的かつ詳細な特徴を表現

5 従来技術とその問題点 1 最適なネットワーク構造の設定 CNN [1] ネットワークの設計は, 学習前に手動で設計する必要がある. 最適なネットワーク構造はデータによって異なり, 通常は試行錯誤的に調整する. 計算コスト時間がかかる. DBN [2] 事前学習した複数の RBM を積み重ねる各層間で RBM 学習を行う RBM h 0 h 1 h 2 c 0 c 1 c 2 b 0 b 1 b 2 b 3 v 0 v 1 v 2 v 3 データの特徴に応じて最適なネットワーク構造を, 学習中に自己組織的 ( 自動 ) に求める構造適応型学習手法が必要. [1]A.S. Krizhevsky,G.E.Hinton, ImageNet Classification with Deep Convolutional Neural Networks NIPS 2012: Neural Information Processing Systems (2012) CNN では, フィルタの設計, DBN では RBM の個数 ( 層数 ), 各 RBM のニューロン数の調整が必要 W ij パラメタ : θ = {b, c, W}. エネルギー関数 : E v, h = σ i b i v i σ j c j h j σ i σ j v i W ij h j [2]G.E.Hinton, S.Osindero and Y.Teh, A fast learning algorithm for deep belief nets. Neural Computation, vol.18, no.7, pp (2006) 5

6 新技術の概要 1 構造適応型深層学習法の開発 DBN による構造適応型学習法を開発した. 入力データに応じて, ニューロンの数, 層の数が自動で最適化される Step1)1 2 層間を RBM で事前学習学習中にニューロンを自動生成 Step2) 層を追加し, 2 3 層間を RBM で事前学習学習中にニューロンを自動生成 Step3) 層を追加し, 3 4 層間を RBM で事前学習学習中にニューロンを自動除去 Step4) 出力層を加えて教師あり学習 (DBN) 出力入力最適化されたネットワーク構造 6

7 新技術の概要 1 構造適応型深層学習法の開発学習中におけるパラメタの振動に基づき, ニューロンの生成削除, 層の生成を行う. ニューロンの生成ニューロンの振動が大きい場合に生成ニューロンの振動 W j 3 W j 0 W j 2 W j 4 W j 5 W j 6 W j 1 層の生成 1 各層の振動に応じて層に生成を決定 α c dc j α W dw ij > θ G 振動が大きい 2 3 k l=1 k l=1 4 挿入 α WD WD l α E E l 重みの振動 1 2 new > θ L2 > θ L1 3 閾値コピー (3) (4) (1) 4 ニューロンの消滅出力に寄与していないニューロンを削除前向き計算条件を満たすまで階層化を行う入力パタン N N n=1 削除閾値 p h j = 1 v n < θ A (2) ニューロン活性値 7

訓練画像 :86,524 枚, テストデータ :25,596 枚. 正常 +8 種類の異常ラベルを持つ. 提案手法は, 従来手法よりも高い分類精度を示している. [3] X.Wang, Y.Peng, L.Lu, Z.Lu, M.

8 従来技術との比較提案した手法を評価するために, ベンチマークテストを用いて評価した. CIFAR-10 and CIFAR-100 [1] 画像データセット (32 x 32pixel) 50,000 学習用 images 10,000 検証用 images 10 カテゴリ (CIFAR-10), 100 カテゴリ (CIFAR-100) CXR8(ChestX-ray8)[3] 胸部 X 線画像ベンチマークテスト. 30,805 人の患者から収集した 112,120 枚の画像. 訓練画像 :86,524 枚, テストデータ :25,596 枚. 正常 +8 種類の異常ラベルを持つ. 提案手法は, 従来手法よりも高い分類精度を示している. [3] X.Wang, Y.Peng, L.Lu, Z.Lu, M.Bagheri, R.M.Summers, ChestXray8: Hospital-scale Chest X ray Database and Benchmarks on Weakly- Supervised Classification and Localization of Common Thorax Diseases, Proc. of IEEE CVPR, pp (2017) 分類精度 (%) 手法 CIFAR-10 CIFAR-100 従来手法 (CNN) 96.5% 75.7% 提案手法 (AdaptiveDBN)[2] 97.4% 84.5% [1] [2] S.Kamada and T.Ichimura, "An Adaptive Learning Method of Deep Belief Network by Layer Generation Algorithm", Proc. of IEEE TENCON 2016, pp (2016) 異常症状の種類従来手法 [3] 提案手法正常正常 % 癌その他分類精度 (%) 形状大 56.0% 94.2% 形状小 71.6% 98.7% 肺拡張不全 70.6% 81.8% 心肥大 81.4% 99.5% 胸水 73.6% 99.6% 肺浸潤 61.2% 95.2% 肺炎 63.3% 95.8% 気胸 78.9% 95.9% 8

時系列データに対する予測 Nottingham [1] CMU [2] MIDI 形式のピアノ音 (30 秒 -60 秒程度 ) 各入力 ( 音域 ) は 88 次元の 0-1 ベクトル ( 該当する音域が押されたら

音域 MIDIのプロット図 0 1 0 0 1 0 1 0 1 時刻 0 ある時刻における音 2 種類のデータに対する予測精度 Nottingham 手法誤差予測精度 (%) 従来手法 (RBM) 1.704 71.

4% モーションキャプチャ (2605 種類の人間の動作 ) 各データは,30 個のマーカーが取り付けられた 30 秒程度の人間の動作の動画.

9 時系列データに対する予測 Nottingham [1] CMU [2] MIDI 形式のピアノ音 (30 秒 -60 秒程度 ) 各入力 ( 音域 ) は 88 次元の 0-1 ベクトル ( 該当する音域が押されたら 1, 押されていなければ 0) 実際の音声提案手法において時系列データを予測するモデルも構築している. 音域 MIDIのプロット図時刻 0 ある時刻における音 2 種類のデータに対する予測精度 Nottingham 手法誤差予測精度 (%) 従来手法 (RBM) % 従来手法 (DBN) % 提案手法 ( 構造適応型 LSTM-RBM) % 提案手法 ( 構造適応型 LSTM-DBN) % モーションキャプチャ (2605 種類の人間の動作 ) 各データは,30 個のマーカーが取り付けられた 30 秒程度の人間の動作の動画.(30 個のマーカで 56 次元の入力を取得可能 ) 実際の動画観測値の一部再現された 3 次元モデル CMU 誤差予測精度 (%) % % % % [1] Nottingham, deep/data/nottingham.zip [2]CMU, 9

10 10 従来技術とその問題点 2 異種データの分析 IoT 機器の普及により多種多様なデータ収集が容易になった. 複数種類のデータ ( 異種データ ) が同時に収集される. Twitter( コメント位置情報画像 ) 医療データ ( 血液検査問診医療画像等 ) データ数値テキスト画像 ( 例 : 血液検査 ) ( 例 : 問診, 質問紙調査 ) ( 例 : 医療画像 ) Deep Learning は画像認識に対して非常に高い分類精度を示している ( 既に人間の能力を上回っている ). 画像以外のデータにも適用され始めている.

従来技術とその問題点 2 異種データの分析リカレンスプロット [1] 時系列データの相関関係を図としてプロット.

IoT によるデータ分析の観点では, 分類精度だけでなく, 結果を出力するまでにかかる計算時間も重要な要素である.

時系列データ学習用の Deep Learning フレームワーク. カオス理論と位相幾何学 (Topological Data Analysis) により時系列データから特徴ベクトルが抽出される.

11 従来技術とその問題点 2 異種データの分析リカレンスプロット [1] 時系列データの相関関係を図としてプロット. 時系列データ Zinrai [2] ( 富士通 ) リカレンスプロット事前に行うデータの前処理特徴分析が必用となる. IoT によるデータ分析の観点では, 分類精度だけでなく, 結果を出力するまでにかかる計算時間も重要な要素である. R i, j = ቊ 1, if x(i) x(j) ε 0, otherwise x(i): 時刻 iのデータ. R i, j : プロット図の値 (0 or 1). ε: 閾値. 時系列データ学習用の Deep Learning フレームワーク. カオス理論と位相幾何学 (Topological Data Analysis) により時系列データから特徴ベクトルが抽出される. 特徴ベクトルが Deep Learning (CNN) で分類される. 時系列データ位相関係を表現した画像 [1] D. F. Silva, V. M. A. de Souza, and G. E. Batista, Time series classification using compression distance of recurrence plots, pp (2013) 特徴ベクトル [2] Zinrai, 最終的な分類 11

12 新技術の概要 2 構造適応型 DBN における異種データの学習提案手法 1において, 画像, 数値データが混在した異種データを1 枚の画像として扱い, 一度に学習する. 個別の処理は不要提案手法 1 の自己組織化において, 異種データの入力信号の配列の入れ替えを行い, 最終的な学習時間を削減する. Line1 Line2 Line6 IB1 IB4 CB7 N = 6px IB2 IB5 IB11 + CB8 IB3 IB18 CB9 初期の入力配置 + CB1 CB2 CB3 CB4 CB5 CB6 CB10 IBs of Line1 IB1 IB2 IB3 隠れニューロン CB1 IBs of Line2 CB2 IB4 IB5 IB6 IB = 画像ブロック CB = CSV ブロック入力ニューロン初期の並びは必ずしも最適ではない. 学習時間を削減するために最適と考えられるブロックの並びを求める. 12

13 新技術の概要 2 構造適応型 DBN における異種データの学習 RBM では, 入力, 隠れ層間で前向き後向き計算を繰り返し, 各層の特徴量を {0, 1} のパターンで表現する. 提案手法 1 では, パラメタの振動の大きさに応じてニューロンを生成. 提案手法 1 におけるニューロン生成の過程で, 入力層で同時に発火する画像 CSV ブロックがあれば, 関連性が高いとみなす. 関連性が高いブロックが近くに位置するようにソート処理を行う. ある隠れニューロンに対して, 同時に発火する入力のニューロンを求める. パラメタの振動に基づいて, 関連性が高いニューロンが近くに位置するようソート処理を行う IB1 CB4 IB15 CB10 WD = 0.5 WD =

従来技術との比較異種データとして, 検診データを用いて提案手法の評価を行った. 検診データ [1] 広島県環境保健協会から提供された健康診断データ. 2012 年から 2015 年の 4 年間で,118,165 人の記録.

提案手法では, 従来手法と比較し, 分類精度を維持したまま, 計算時間を約 30% 削減できた. 手法分類精度 (%) 検診データ計算時間 ( 分 ) PC1 PC2 従来手法 (RBM) 16.7% 44.1 151.8 提案手法 1( 構造適応型 RBM) 16.5% 43.1 150.

14 従来技術との比較異種データとして, 検診データを用いて提案手法の評価を行った. 検診データ [1] 広島県環境保健協会から提供された健康診断データ年から 2015 年の 4 年間で,118,165 人の記録. 定期健康診断 (214,683 件 ), 胸部 X 線画像 (106,664 件 ), 胸部 CT 画像 (224,667 件 ), 胃部 X 線画像 (88,970 件 ), マンモ画像 (23,962 件 ). 検診データにおける数値データ ( 血液検査 ) と医療画像を一度に学習した. 提案手法では, 従来手法と比較し, 分類精度を維持したまま, 計算時間を約 30% 削減できた. 手法分類精度 (%) 検診データ計算時間 ( 分 ) PC1 PC2 従来手法 (RBM) 16.7% 提案手法 1( 構造適応型 RBM) 16.5% 提案手法 2( 構造適応型 RBM) 14.6% 従来手法 (DBN) 8.9% 従来手法 1( 構造適応型 DBN) 5.6% 提案手法 2( 構造適応型 DBN) 5.8% PC1: Intel Xeon E v3 2.3GHz, 64GB, Tesla K80 x 3 PC2: Intel Core i GHz, 8GB, GTX 1080 x 1 [1] 14

15 15 従来技術とその問題点 3 逐次データの自動学習 IoT 機器からデータがリアルタイムに逐次収集される. 収集されたデータは, モデルを微調整 ( 構築 ) するための訓練データとして使用できる. 誤分類 ( 異常値 ) を引き起こす未知なデータが収集された場合, 再度モデルを学習する必要がある. 収集されたデータに対して, 自動で学習を行い,IoT 機器の環境に応じて学習モデルを更新する仕組みが必要である. 提案手法 1,2 では, データに応じてネットワーク構造を自動で求められる. また, 機器ごとにモデルを構築することができる. したがって, 従来手法と比べて環境ごとにプロセス改善が行える.

16 16 新技術の概要 3 逐次データの自動学習装置の開発 GPU 計算機学習データ 2-2) 学習開始深構層造学適習応法型 2-3) 学習結果保存学習結果 2-1) 学習データ転送 2-4) 学習結果転送 2 新規データが一定以上蓄積された段階 ( データ数, 既存のモデルとの誤差 ) で,GPU 計算機での学習を開始. Web データサーバ学習データ既存新規学習結果 1-2) アップロード 3-1) 学習結果転送 Push 通知クライアントタブレット新規学習データ結果表示 PC 学習結果 3-2 学習結果表示 1-1) 新規データ収集 1 収集されたデータを逐次 Web サーバにアップロードする. 3 学習終了後, 結果をクライアント端末に転送する.

17 17 想定される用途医療データ ( エビデンス ) に基づいた深層学習診断支援装置. 特に, 医師の判断分析に対し, 高い信頼性をもった予測結果を示すことができ, がん検診等の診断ミスの可能性を低減することが期待できる. IoT 端末の個別の環境において, システム構築後に生じた未知データにも対応できる, 異常検査装置. 処理速度が求められる制御装置において, 抽出した知識 (IF-Then ルールの獲得 ) のリアルタイム制御が可能.

18 18 実用化に向けた課題新しい深層学習システムを構築するために, 収集された大容量のデータが必要である. 高速な GPU 装置が必要で, 最適なパラメタの組み合わせを得るためのデータサイエンティストのスキルが必要である. 個人情報や医療情報を取り扱うシステムの場合, セキュリティやユーザに対する使用許諾等のプロトコルを確認できるチームが必要である.

19 19 企業への期待一般的な AI( 機械学習 ) ではうまく処理できない複雑なデータ ( 特にあいまいな情報を含む画像認識検出 ) の分析, 予測等を検討している企業. 例えば, 医療は, 専門医による判定結果を含む, 大規模なマンモグラフィのデータを持つ企業等との共同研究. (SCOPE での研究成果の活用が可能 ) 時系列データによる, 異常判定を実現したい企業. ( サポインでの研究成果の活用が可能 )

20 本技術に関する知的財産権発明の名称深層学習自動学習システムクライアント装置およびサーバ装置出願番号特願出願人発明者公立大学法人県立広島大学市村匠, 鎌田真発明の名称異種データ深層学習装置異種データ深層学習方法および異種データ深層学習プログラム (SCOPE により出願済 ) 出願番号特願出願人発明者公立大学法人県立広島大学市村匠, 鎌田真 20

21 21 まとめネットワークの自己組織化機能を持つ構造適応型深層学習法を開発した. 従来手法と比べ, 高い分類精度を示している. 数値, テキスト, 画像等が混在する異種データを 1 つのデータとして一度に学習し, 学習時間を 30% 削減する手法を開発した. 逐次収集される未知データに対して, 提案手法を自動で実行するシステムを開発した.

22 22 お問い合わせ先県立広島大学地域連携センターセンター長市村匠准教授安藤由典 TEL FAX

Deep Learning によるビッグデータ解析 ~ 手法や CUDA による高速化 2014 年 9 月 5 日 G-DEP ソリューションパートナー株式会社システム計画研究所奥村義和

Deep Learning によるビッグデータ解析 ~ 手法や CUDA による高速化 2014 年 9 月 5 日 G-DEP ソリューションパートナー株式会社システム計画研究所奥村義和目次 DeepLearning と GPU G-DEP テストドライブビッグデータ GPU DeepLearning の接点目次 DeepLearningとGPU DeepLearningとは仕組みと計算

新技術説明会 様式例

新技術説明会　様式例