将 棋 電 王 戦 IBM ワトソン ディープラーニング 革 命 ILSVRCでの 圧

人 工 知 能 ディープラーニングの 最 近 の 展 開 東 京 大 学 松 尾 豊 1

将 棋 電 王 戦 IBM ワトソン http://venturebeat.com/2011/02/15/ibm-watson-jeopardy-2/, http://weekly.ascii.jp/elem/000/000/207/207410/ ディープラーニング 革 命 ILSVRCでの 圧 勝 (2012) Googleの 猫 認 識 (2012) ディープマインドの 買 収 (2013) FB/Baiduの 研 究 所 (2013) アルファ 碁 (2016) 機 械 学 習 ウェブ ビッグデータ 車 ロボット への 活 用 自 動 運 転 Pepper 統 計 的 自 然 言 語 処 理 ( 機 械 翻 訳 など) 検 索 エンジンへの 活 用 Eliza 探 索 迷 路 パズル 第 一 次 AIブーム ( 推 論 探 索 ) MYCIN( 医 療 診 断 ) DENDRAL プランニング STRIPS エキスパート システム 対 話 システムの 研 究 第 二 次 AIブーム ( 知 識 表 現 ) チェス(1997) Deep Blue オントロジー Caloプロジェクト bot タスクオントロジー ワトソン(2011) LOD(Linked Open Data) Siri(2012) 将 棋 (2012-) 電 王 戦 1956 1970 1980 1995 2010 2015 囲 碁 第 三 次 AIブーム ( 機 械 学 習 ディープラーニング)

2つの 人 工 知 能 のタイプ ワトソン 型 人 工 知 能 : ワトソン IoT 全 般 Siri Pepper... 大 人 の 人 工 知 能 : 専 門 家 ( 大 人 )のようなことができるが 人 間 が 裏 で 作 りこんでいる 自 然 言 語 処 理 機 械 学 習 がベース 対 話 や 質 問 応 答 情 報 提 示 の 最 適 化 ができる Googleが 強 い それが 数 多 くの 産 業 分 野 に 広 がっている 販 売 マーケティングを 中 心 に 広 がった 今 後 は 医 療 金 融 教 育 など 一 定 以 上 の 精 度 向 上 はできない 過 度 な 擬 人 化 に 注 意 重 要 だが 世 界 に 勝 つのは 難 しい ディープラーニング 型 人 工 知 能 : モラベックのパラドックス: 画 像 認 識 や 運 動 の 上 達 など 子 どもでもできることがコン ピュータには 難 しかった 子 どもの 人 工 知 能 :ディープラーニング 革 命 により モラベックのパラドックスが 崩 れ 子 どものできることこそができるようになっている 認 識 作 業 の 上 達 (いずれ 言 語 の 意 味 理 解 )ができる 機 械 に 目 ができる 機 械 が 上 達 する 農 業 や 建 設 食 品 加 工 医 療 画 像 の 認 識 など ものづくりとディープラーニングを 組 み 合 わせた 上 達 する 機 械 は 日 本 の 戦 略 的 チャン ス 3

ディープラーニング 革 命 認 識 画 像 認 識 ができる (コンピュータができて 以 来 初 めて!) 作 業 の 上 達 ロボット 機 械 が 上 達 する 言 語 の 意 味 理 解 文 の 意 味 が 分 かる ( 文 と 映 像 の 相 互 変 換 ができる) 4

認 識 :ディープラーニングの 実 績 (2012) ILSVRC2012:Large Scale Visual Recognition Challenge 2012 ディープ ラーニング Team name Error Description SuperVision 15.315% Using extra training data from ImageNet Fall 2011 release SuperVision 16.422% Using only supplied training data ケタ が 違 う ISI 26.602% Weighted sum of scores from classifiers using each FC 長 年 の 特 徴 量 設 計 の 工 夫 ISI 26.646% Naïve sum of scores from classifiers using each FV ISI 26.952% Naïve sum of scores from each classifier with SIFT+FV, LBP+FV, GIST+FV and CSIFT+FV, respectively OXFORD_VGG 26.979% Mixed selection from High-Level SVM scores and Baseline Scores, decision is performed by looking at the validation performance.... 5

認 識 :2012 年 以 降 のエラー 率 の 変 化 Before ディープ ラーニング After ディープ ラーニング Error Imagenet 2011 winner (not CNN) 25.7% Imagenet 2012 winner Imagenet 2013 winner Imagenet 2014 winner 16.4% (Krizhesvky et al.) 11.7% (Zeiler/Clarifai) 6.7% (GoogLeNet) Baidu Arxiv paper:2015/1/3 6.0% Human: Andrej Karpathy 5.1% Microsoft Research Arxiv paper: 2015/2/6 4.9% Google Arxiv paper: 2015/3/2 4.8% Microsoft Research CVPR paper: 2015/12/10 3.6% 2015 年 2 月 には 人 間 の 精 度 を 超 えた 画 像 認 識 で 人 間 の 精 度 を 超 えることは 数 十 年 間 実 現 されていなかった 6

作 業 の 上 達 :ディープラーニング+ 強 化 学 習 (2013-) 強 化 学 習 とは 行 動 を 学 習 する 仕 組 み 報 酬 が 得 られると 事 前 の 行 動 を 強 化 する 状 態 行 動 望 ましさ( 報 酬 ありなし) 古 くからある 技 術 だが これまでは 状 態 を 人 間 が 定 義 してきた 作 業 の 上 達 が 可 能 に 状 態 の 認 識 に ディープラーニングを 使 う DeepMindの 研 究 者 (D. Hassabisら) その 後 Googleが 買 収 試 行 錯 誤 することによって 作 業 が 上 達 する 最 初 は 下 手 繰 り 返 すうちに うまくなってくる 最 終 的 には ブロック 崩 しでの 通 路 を 作 ったり インベーダーゲームでの 名 古 屋 撃 ち も 全 く 同 じプログラム で 異 なるゲームを 学 習 半 数 のゲームで 人 間 のハイスコアを 上 回 る http://www.clubic.com/mag/actualite-756059-google-jeu-video.html http://www.economist.com/news/briefing/21650526-artificial-intelligence-scares-peopleexcessively-so-rise-machines 7

作 業 の 上 達 :ディープラーニング+ 強 化 学 習 が 実 世 界 へ(2015-) 実 世 界 への 適 用 2015 年 5 月 試 行 錯 誤 で 部 品 の 取 付 を 習 熟 するロボットの 開 発 (UC Berkeley) 2015 年 5 月 試 行 錯 誤 で 運 転 を 習 熟 するミニカーの 開 発 (PFN 社, 日 本 ) 2015 年 12 月 試 行 錯 誤 でピッキングが 上 達 するロボットの 開 発 (PFN ファナック, 日 本 ) その 他 メリーランド 大 EUのプロジェクト 等 も 進 展 考 えてみれば 当 たり 前 犬 や 猫 でもできる 高 次 な 言 語 能 力 は 必 要 ない 認 識 が 問 題 だった 歴 史 的 には 多 数 の 人 工 知 能 研 究 者 がこのことを 主 張 してきた 試 行 錯 誤 で 作 業 学 ぶロボット(UC Berkeley) 試 行 錯 誤 で 運 転 を 学 習 するミニカー(PFI 社 日 本 ) https://research.preferred.jp/2015/06/distributed-deep-reinforcement-learning/ http://news.berkeley.edu/2015/05/21/deep-learning-robot-masters-skills-via-trial-and-error/ http://www.nikkei.com/news/print-article/?r_flg=0&bf=0&ng=dgxmzo83844520s5a300c1000000&uah=df170520127709 8

言 語 の 意 味 理 解 :Automated Image Captioning (2014-) a http://cs.stanford.edu/people/karpathy/sfmltalk.pdf 9

言 語 の 意 味 理 解 :Generating Images (2015.12-) A stop sign flying in blue skies. 10 Elman Mansimov et. al: Generating Images from Captions with Attention, Reasoning, Attention, Memory (RAM) NIPS Workshop 2015, 2015

画 像 による 翻 訳 ( 意 訳 ) 日 本 語 画 像 英 語 課 題 解 像 度 画 像 から 映 像 体 験 へ 抽 象 概 念 はどう 扱 うの? いずれにしても 視 覚 的 な 機 構 が ベースにあるのは 間 違 いない 日 本 語 生 成 モデル 英 語 識 別 モデル 映 像 による 推 論 言 語 映 像 シーン 予 測 次 の 映 像 言 語 風 船 が 飛 んでいる 山 まで 飛 んで 行 くのかな 日 本 語 生 成 モデル 生 成 モデル 日 本 語 識 別 モデル 言 葉 の 空 間 とパターンの 空 間 を 自 由 に 行 き 来 するのが 人 間 の 知 能 11

人 工 知 能 技 術 の 発 展 と 社 会 への 影 響 画 像 による 診 断 広 告 米 国 カナダがリード 2007 画 像 認 識 の 精 度 向 上 防 犯 監 視 セキュリティ マーケティング 認 識 行 動 予 測 異 常 検 知 コンピュータができて 以 来 初 めて 画 像 認 識 ができる 自 動 運 転 物 流 建 設 農 業 の 自 動 化 製 造 の 効 率 化 環 境 変 化 に ロバストな 自 律 的 行 動 介 護 調 理 掃 除 翻 訳 海 外 向 けEC 言 語 理 解 文 脈 にあわせて 優 しく 触 る 持 ち 上 げる 技 術 作 業 の 上 達 ロボット 機 械 が 上 達 する 2014 2020 2025 教 育 秘 書 ホワイトカラー 支 援 大 規 模 知 識 理 解 言 語 の 意 味 理 解 文 の 意 味 が 分 かる ( 文 と 映 像 の 相 互 変 換 ができる) 2030? 1 2 3 4 5 6 画 像 認 識 マルチモーダルな 認 識 ロボティクス インタラクション シンボル 知 識 獲 得 グラウンディング Deep LearningをベースとするAIの 技 術 的 発 展 12

日 本 は 実 作 業 路 線 のほうが 戦 いやすい 最 終 的 には 日 常 生 活 仕 事 におけるロボット 機 械 の 活 用 状 況 ごとに 個 別 性 があるので 認 識 能 力 がない 状 況 では 対 応 できなかった ここにどう 至 るかが 鍵 情 報 路 線 で 行 く 道 (Google, Facebook 系 )と 実 作 業 路 線 で 行 く 道 があるのではないか 海 外 企 業 研 究 者 は 機 械 ロボットに 苦 手 意 識 予 選 を 勝 ち 進 んだ 企 業 が 決 勝 に 進 むイメージ 人 工 知 能 が 組 み 込 まれた 日 常 生 活 ロボット 生 産 を 担 うロボット 機 械 決 勝 リーグ 予 選 リーグA 情 報 路 線 ( 大 人 の 人 工 知 能 ) 高 度 に 知 能 機 械 がモジュール 化 し 組 み 込 まれた 社 会 実 作 業 路 線 ( 子 どもの 人 工 知 能 ) 予 選 リーグB メール スケジュール 管 理 対 話 質 問 応 答 便 利 であるという 付 加 価 値 G, F, M, A, A 現 在 ものを 動 かす 加 工 する 操 作 する 信 頼 できるという 付 加 価 値??? 13

眼 の 誕 生 カンブリア 爆 発 5 億 4200 万 年 前 から5 億 3000 万 年 前 の 間 に 突 如 と して 今 日 見 られる 動 物 の 門 が 出 そろった 現 象 古 生 物 学 者 アンドリュー パーカーは 眼 の 誕 生 がその 原 因 だったの 説 を 提 唱 今 後 ディープラーニングにより 眼 のある 機 械 が 誕 生 する 三 葉 虫 : 史 上 初 めて 眼 をもった 生 物 14

眼 のある 機 械 ( 認 識 系 ): 黒 :さっさとやればいいもの(プロトタイプ 開 発 ) 赤 : 研 究 が 必 要 なもの 青 : 議 論 が 必 要 な 戦 略 論 警 備 防 犯 技 術 介 護 施 設 病 院 独 居 老 人 等 の 見 守 り 技 術 防 犯 や 交 通 違 反 検 知 を 含 めた 社 会 インフラ 構 築 顔 による 認 証 ログイン 広 告 技 術 わいせつ 画 像 判 定 意 匠 の 類 似 判 定 等 既 存 領 域 での 画 像 活 用 表 情 読 み 取 り 技 術 (サービス 業 全 般 にきわめて 重 要 嘘 発 見 技 術 も) 顔 認 証 含 めたより 根 本 的 なプライバシーリスク 検 討 ( 人 が 写 った 画 像 映 像 は 個 人 情 報 か 特 徴 量 利 用 の 制 限 スキーム 本 人 認 証 書 類 の 変 化 等 も 含 め) 国 家 の 安 全 保 障 入 国 管 理 警 察 業 務 輸 出 入 管 理 業 務 等 での 利 用 実 世 界 最 適 化 支 援 ( 店 舗 内 行 動 街 づくり 等 ) 防 災 系 画 像 処 理 ( 河 川 火 山 土 砂 崩 れ) 医 療 画 像 処 理 (X 線 CT 皮 膚 心 電 図 ) コンテンツ 生 成 系 (アート デザイン 広 告 制 作 ) コンテンツ 生 成 の 発 展 系 ( 深 層 生 成 モデルの 発 展 実 写 代 替 技 術 アニメや 映 画 ) 一 般 数 値 データ 異 常 監 視 (プラント 打 音 検 査 情 報 セキュリティ 等 ) 日 本 語 の 一 般 音 声 認 識 技 術 画 像 認 識 系 に 関 する 戦 略 論 ( 協 調 と 競 争 のすみわけ どこで 競 争 力 の 差 が 生 まれるか) 防 犯 による 不 動 産 価 値 向 上 夜 間 活 用 森 林 活 用 等 の 土 地 場 所 の 活 用 に 関 する 検 討 15

眼 のある 機 械 ( 作 業 系 ): 重 機 系 ( 掘 削 揚 重 ) 建 設 現 場 系 (セメント 固 め 溶 接 運 搬 取 り 付 け) 農 業 系 ( 収 穫 選 果 防 除 摘 花 摘 果 ) 自 動 操 縦 系 (ドローン 小 型 運 搬 車 農 機 建 機 ) 自 動 運 転 系 (ドリフトする 自 動 運 転 車 時 速 300キロの 自 動 運 転 車 全 力 で 飛 び 込 んでくる 歩 行 者 に 対 応 できる 自 動 運 転 車 ) 産 業 用 ロボット 系 ( 特 に 組 み 立 て 加 工 等 ) 調 理 系 ( 牛 丼 炊 飯 ) ペットロボット 系 (AIBO+ 強 化 学 習 ) 医 療 介 護 バイオ 系 ( 手 術 ロボ 介 護 ロボ 実 験 ロボ) 廃 炉 系 ( 深 海 や 鉱 山 宇 宙 も 含 めた 極 限 環 境 ) ピッキング 系 基 礎 技 術 開 発 (ハードとのすり 合 わせ 片 付 けロボや 陳 列 ロボ) 学 習 効 率 を 上 げるためのシミュレーション 試 作 転 移 学 習 等 の 基 礎 技 術 開 発 学 習 工 場 プラットフォーム 化 に 関 する 検 討 と 戦 略 論 (どういう 切 り 出 しにより Intel inside あるいは MicrosoftのWindows 化 を 実 現 するか 安 全 性 信 頼 性 等 の 競 争 力 につなげる 方 法 論 など) 軍 事 目 的 での 利 用 に 関 する 潜 在 的 リスク 可 能 性 の 検 討 16

DLに 関 わる 海 外 ベンチャー Deep Mind( 英 ):DLの 技 術 力 をもった 企 業 DQNによるゲーム アルファ 碁 医 療 など 2011 創 業 Googleが2014 に 400Mで 買 収 Enlitic: 医 療 画 像 (X 線 )におけるDL 活 用 2014 創 業 15M 調 達 Nervana Systems: 医 療 農 業 金 融 自 動 車 エネルギー 等 における 画 像 処 理 24M 調 達 後 インテルが2016 買 収 Emotient: 顔 の 表 情 を 認 識 する 会 社 2012 創 業 6M 調 達 後 Appleが2016 買 収 Affectiva: 映 画 やTV 番 組 のどこで 表 情 が 変 わったのかを 読 み 取 る 2009 創 業 34M 調 達 Perceptio:DLによる 写 真 分 類 アプリ 開 発 創 業 調 達 額 不 明 Appleが2015 買 収 VocalIQ( 英 ):DLによる 音 声 認 識 1M 調 達 後 Appleが2015 買 収 Atomwise:ドラッグディスカバリーへのDL 活 用 新 薬 の 候 補 物 質 を 見 つける YC 卒 業 生 2012 創 業 6M 調 達 Descartes Labs:DLによる 衛 星 画 像 の 分 析 農 業 への 適 用 2014 創 業 8M 調 達 Canary:DLによるホームセキュリティ 2012 創 業 41M 調 達 Netatmo: 家 電 DLによる 監 視 カメラも 2011 創 業 38M 調 達 Pilot AI Labs:DLの 画 像 認 識 を 使 ったドローンの 自 動 操 縦 まだ 小 さいが 動 画 が 面 白 い MetaMind: 画 像 認 識 一 般 2014 創 業 8M 調 達 SkyMind: JavaベースのDL 提 供 2014 創 業 3M 調 達 AlchemyAPI: DLによる 言 語 処 理 と 画 像 認 識 クラウドで 提 供 2005 創 業 2M 調 達 IBMが2015に 買 収 ZenRobotics(フィンランド):ごみの 選 別 ロボット 2007 創 業 17M 調 達 17

DLに 関 わる 海 外 大 手 企 業 先 導 するネット IT 系 企 業 Google:J. Hinton 氏 の 引 き 抜 きからDeepMindの 買 収 まで 抜 かりがない 研 究 開 発 力 も 最 強 Facebook:Y. LeCun 氏 を 引 き 抜 き FAIR(Facebook AI Research)はDL 技 術 で 強 い Microsoft: 学 術 研 究 にも 力 を 入 れ 有 力 研 究 者 が 多 数 画 像 認 識 のコンペでも 優 勝 Apple:DLのベンチャー 企 業 を 何 社 か 買 収 Amazon:ピッキングチャレンジ 開 催 デルフト 大 ( 蘭 ) 優 勝 IBM:ワトソン DL 技 術 もプラットフォームに 加 える Baidu( 中 ): 世 界 2 位 の 検 索 エンジン A. Ng 氏 率 いる 強 い 研 究 チーム DLによる 音 声 認 識 広 告 画 像 のキャプションつけ 等 製 造 業 GE:DLによる 医 療 画 像 の 診 断 Dyson: 掃 除 機 に 眼 をつけたものを 開 発 インペリアル カレッジにRoboticsラボ 設 立 Kuka( 独 ): 産 業 用 ロボットへのDL 適 用 Mobileye( 蘭 ): 車 用 の 画 像 認 識 を 提 供 1999イスラエルで 創 業 2014 年 上 場 時 価 総 額 10B LG( 韓 ):インチョン 空 港 で DLを 使 ったロボットでの 案 内 の 実 験 Samsung( 韓 ):DLを 使 った 胸 部 エコー 検 診 の 医 療 機 器 18

必 要 になる 学 習 工 場 学 習 工 場 のイメージ アルゴリズム 開 発 人 件 費 1 人 1 億 円 ( 国 際 的 に 競 争 力 のある 価 格 ) 学 習 のためのシミュレータ 開 発 環 境 模 擬 機 の 開 発 環 境 データの 取 得 環 境 (さまざまな 過 酷 な 環 境 ) 高 性 能 な 計 算 機 学 習 工 場 で 出 荷 されるもの 学 習 済 みの モデル これが 最 終 製 品 に 載 せて 売 られる これを 新 たな 設 備 投 資 の 形 とすることができないか 19

日 本 の 戦 略 日 本 の 社 会 課 題 に 対 して DLを 基 盤 とする 上 達 する 機 械 を 適 用 する 農 業 分 野 に 習 熟 したロボット を 適 用 することで 休 耕 地 が 耕 せる 除 草 防 除 や 収 穫 ができる 収 量 が 増 える 介 護 分 野 に 適 用 することで 介 助 も 楽 に 移 動 したりトイレにいけるようになり より 自 立 した 生 活 ができる 廃 炉 作 業 に 適 用 することで 危 険 な 状 況 で 人 が 作 業 しなくてよくなる 工 期 を 短 縮 できる 河 川 や 火 山 を 見 張 ることで 河 川 の 氾 濫 や 土 砂 崩 れ 噴 火 などの 危 険 な 状 態 予 兆 を 早 期 に 発 見 できる こうした 技 術 を 使 った 製 品 を 海 外 に 展 開 していくことで 新 たな 輸 出 産 業 に GDPの 増 加 につながる 地 方 からグローバルへ ものづくり と 擦 りあわせて 技 術 を 伸 ばす それをグローバルに 展 開 20