人 工 知 能 のキーテクノロジー としてのディープラーニング 株 式 会 社 ネクスト 主 席 研 究 員 清 田 陽 司 リッテルラボラトリー KIAI 第 3 回 九 州 地 域 情 報 化 研 究 部 会 2016.08.25
経 歴 研 究 分 野 : 自 然 言 語 処 理 応 用 情 報 検 索 情 報 推 薦 略 歴 京 都 大 (1997-2004) 対 話 型 質 問 応 答 システム 企 業 (マイクロソフト)との 共 同 研 究 東 京 大 情 報 基 盤 センター 助 教 / 特 任 講 師 (2004-2012) 図 書 館 情 報 ナビゲーションシステム/Wikipediaマイニング 株 式 会 社 リッテル 主 席 研 究 員 /CTO (2007-2011) 図 書 館 情 報 ナビゲーションシステム 実 用 化 ( 国 立 国 会 図 書 館 リ サーチ ナビなど) ビッグデータ 処 理 技 術 (Hadoop)の 展 開 産 学 連 携 スタートアップとのかかわり 株 式 会 社 ネクスト リッテルラボラトリー (2011-) 情 報 推 薦 システムの 研 究 開 発 ( 主 にHOME S) 大 学 との 共 同 研 究 言 語 処 理 学 会 編 集 委 員 (2010-2012) 人 工 知 能 学 会 編 集 委 員 (2014-) JST 情 報 管 理 誌 外 部 編 集 委 員 (2015-) WebDB Forum 産 学 連 携 担 当 幹 事 (2015-) 2
株 式 会 社 ネクストのサービス 日 本 最 大 級 の 不 動 産 住 宅 サイト HOME S を 運 営 1 フジサンケイビジネスアイ 調 べ (2014.3.31 掲 載 ) 2 利 用 者 数 No.1 ニールセンNetView 2013 年 4 月 データ ( 家 庭 および 職 場 のPC からのアクセス カテゴリ: 家 庭 とファッションサブカテゴリ: 不 動 産 ) 3
AlphaGo 4
人 工 知 能 とは? 5
人 工 知 能 研 究 のはじまり 1940 年 代 Alan Turing: 知 能 をもつ 機 械 の 基 礎 的 概 念 1956 年 夏 : ダートマス 会 議 研 究 者 たちが 英 Dartmouth 大 学 に 集 まり Artificial Intelligence(AI)という 研 究 分 野 を 定 義 ジョン マッカーシー (1927-2011) ハーバート サイモン (1916-2001) アレン ニューウェル (1927-1992) マービン ミンスキー (1927-2016) 6
7
人 工 知 能 ブームの 歴 史 8
人 工 知 能 分 野 発 展 の 見 取 り 図 9
パズルを 解 く( 探 索 推 論 ) チェス 将 棋 囲 碁 なども 基 本 的 に 同 じ 考 え 方 = 問 題 をツリー( 木 ) 構 造 に 変 換 して 解 く おもちゃの 問 題 しか 解 け ない? = 現 実 の 複 雑 な 問 題 には 適 用 不 可 能? 10
ELIZA (1960 年 代 ) U: 頭 痛 がひどいんだ S: たぶん 医 者 に 相 談 すべきです 私 は 精 神 科 医 です U: わかった あとでそうするよ S: それについて 詳 しく 説 明 できますか? U: 何 を 言 っている? 詳 しく 説 明 なんてできないよ じゃあまたね U: なぜそんなことを 言 うのですか? U: だってわけわからないことを 言 って いるじゃないか! S: なぜわけわからないことを 言 っていると 思 うのですか? 11
知 識 を 書 きまくる(エキスパートシステム) 12
知 識 を 表 現 する 13
IBM Watson 2009 年 米 国 のクイズ 番 組 Jeopardy!で 優 勝 14
質 問 応 答 システム(IBM Watson) 15
Watsonの 裏 側 サーバーの 計 算 能 力 CPUコア: 2880 個 主 記 憶 容 量 (RAM): 15TBytes 演 算 速 度 : 80 兆 回 / 秒 データ(インターネットには 接 続 せず) 2 億 ページ 分 の 文 書 (100 万 冊 に 相 当 ) 百 科 事 典 書 籍 映 画 の 台 本 16
機 械 学 習 = 大 量 のデータを 分 ける 教 師 あり 学 習 教 師 なし 学 習 17
けっきょく 何 が 難 しいのか? 知 識 をどこまで 書 けばいいのか? 世 界 が 広 すぎて 書 き 切 れない 関 係 のある 知 識 だけをどうやって 取 り 出 せば いいのか?(フレーム 問 題 ) 記 号 と それが 意 味 するもの をどうやって 結 びつけたらいいのか?(シンボルグラウンディ ング 問 題 ) 18
ニューラルネットワークとは? 19
20
21
22
23
ニューラルネット= 人 間 の 脳 神 経 回 路 の 模 倣 24
ニューラルネット= 人 間 の 脳 神 経 回 路 の 模 倣 1 2 3 4 25
28 28=784ピクセル 26
ニューラルネット= 人 間 の 脳 神 経 回 路 の 模 倣 1 2 3 4 27
ニューラルネット= 人 間 の 脳 神 経 回 路 の 模 倣 1 2 3 4 28
ニューラルネット= 人 間 の 脳 神 経 回 路 の 模 倣 1 2 3 4 29
ニューラルネット= 人 間 の 脳 神 経 回 路 の 模 倣 1 2 3 4 30
ニューラルネット= 人 間 の 脳 神 経 回 路 の 模 倣 1 2 3 4 31
ニューラルネットワークの 学 習 32
誤 差 の 計 算 1 2 3 4 33
誤 差 の 計 算 1 2 3 4 34
誤 差 が 少 なくなるように 結 びつきの 強 さ( 線 の 太 さ)を 調 節 する 1 2 3 4 35
誤 差 が 少 なくなるように 結 びつきの 強 さ( 線 の 太 さ)を 調 節 する 1 2 3 4 36
誤 差 が 少 なくなるように 結 びつきの 強 さ( 線 の 太 さ)を 調 節 する 1 2 3 4 37
誤 差 が 少 なくなるように 結 びつきの 強 さ( 線 の 太 さ)を 調 節 する 1 2 3 4 38
誤 差 が 少 なくなるように 結 びつきの 強 さ( 線 の 太 さ)を 調 節 する 1 2 3 4 39
誤 差 が 少 なくなるように 結 びつきの 強 さ( 線 の 太 さ)を 調 節 する 1 2 3 4 40
誤 差 が 少 なくなるように 結 びつきの 強 さ( 線 の 太 さ)を 調 節 する 1 2 3 4 41
誤 差 が 少 なくなるように 結 びつきの 強 さ( 線 の 太 さ)を 調 節 する 1 2 3 4 42
ディープラーニングという ブレークスルー 43
ディープラーニング( 深 層 学 習 ) ニューラルネットワークのブレークスルー 層 の 数 を 増 やせば 表 現 能 力 が 上 がるが 学 習 が 困 難 だった 多 層 でも 学 習 可 能 な 方 法 が 提 案 された (Hinton 2006) 各 種 の 機 械 学 習 コンペティション で 他 の 手 法 を 大 きく 上 回 る 精 度 を 達 成 44
Google 猫 ニューロン Youtubeから 抽 出 した1000 万 枚 の 画 像 に 深 層 学 習 を 適 用 1000 台 のサーバーで3 日 間 かけて 学 習 猫 の 顔 人 間 の 顔 に 反 応 するニューラルネットができた 45
ディープラーニングのなにが すごい のか? 頑 健 性 ノイズを 加 えて 学 習 特 徴 表 現 にあたるものが 獲 得 できる 機 械 学 習 の 難 問 への 一 つの 解 46
ネオコグニトロン (1980 年 代 福 島 邦 彦 氏 による 考 案 ) 47
ディープラーニングの 主 な 応 用 画 像 認 識 Google 画 像 検 索 キャプション 生 成 ( 画 像 に 適 切 な 説 明 文 を 与 え る) 音 声 認 識 スマートフォンの 音 声 インタフェースで 実 用 レ ベルに 自 動 運 転 ドローン ロボット 制 御... 画 像 生 成 48
ディープラーニングによる 物 件 画 像 の 自 動 分 類 不 動 産 会 社 による 分 類 内 装 ディープラーニングによる 分 類 居 間 22.4294 キッチン 18.8581 収 納 15.6817 不 動 産 会 社 による 分 類 その 他 ディープラーニングによる 分 類 バルコニー 22.2454 設 備 18.868 不 動 産 会 社 による 分 類 収 納 ディープラーニングによる 分 類 収 納 22.8901 玄 関 22.1572 エントランス 17.2992 設 備 14.7072 49
ディープラーニングの 限 界 信 号 から 記 号 への 変 換 は 得 意 画 像 認 識 音 声 認 識 など 画 像 からの 説 明 文 生 成 記 号 の 操 作 を 必 要 とする 処 理 は 苦 手 自 然 言 語 処 理 因 果 関 係 の 理 解 時 間 的 な 前 後 関 係 の 扱 いはまだ 難 しい 動 画 など けっきょくは 機 械 学 習 なので 大 量 の 学 習 用 デー タが 必 要 50
ディープラーニングの 実 装 51
使 いやすいライブラリの 整 備 Google Preferred Networks Microsoft FaceBook 52
ハードウェアの 課 題 基 本 的 にGPGPU (General-Purpose computing on Graphics Processing Units) が 必 須 CPUだけでも 動 くが 学 習 にはとてつもなく 時 間 がかかる 識 別 もGPGPUがあると 望 ましい 消 費 電 力 の 問 題 モバイル 端 末 やIoTプラットフォームで 使 える か? FPGAや 専 用 チップの 利 用 が 今 後 進 む? 53
おわりに 54
おわりに できることとできないことの 見 極 めが 大 切 ブームの 中 で 本 質 が 見 失 われがち ディープラーニングの 産 業 応 用 の 課 題 技 術 と 学 術 の 融 合 をどう 図 っていくか? 人 材 確 保 育 成 ハードウェアはフロンティア 領 域! 既 成 概 念 にとらわれないように 55