東京大学松尾研究室について松尾豊 1997 年東京大学工学部電子情報工学科卒業 2002 年同大学院博士課程修了. 博士 ( 工学 ) 産業技術総合研究所研究員 2005 年スタンフォード大学客員研究員 2007 年 ~ 東京大学大学院工学系研究科技術経営戦略学専攻准教授 2014 年東京

Size: px

Start display at page:

Download "東京大学松尾研究室について松尾豊 1997 年東京大学工学部電子情報工学科卒業 2002 年同大学院博士課程修了. 博士 ( 工学 ) 産業技術総合研究所研究員 2005 年スタンフォード大学客員研究員 2007 年 ~ 東京大学大学院工学系研究科技術経営戦略学専攻准教授 2014 年東京"

かおりだいほうじ
6 years ago
Views:

1 食品産業における人工知能の可能性東京大学松尾豊 1

東京大学松尾研究室について松尾豊 1997 年東京大学工学部電子情報工学科卒業 2002 年同大学院博士課程修了.

AIセンター企画チーム長人工知能ディープラーニング Web マイニングを専門とする論文数と被引用数に基づき科学者の科学的貢献度を示す h-index=31( ウェブ人工知能分野最高水準 ) であり 2013 年より国際 WWW 会議 Web Mining

(2007 年 ) ドコモモバイルサイエンス賞 (2013 年 ) 文部科学省科学技術への顕著な貢献 2015 大川出版賞 (2015 年 ) ビジネス本大賞審査員賞 (2016 年 ) 等受賞経済産業省産業構造審議会新産業構造部会委員 IoT

2 東京大学松尾研究室について松尾豊 1997 年東京大学工学部電子情報工学科卒業 2002 年同大学院博士課程修了. 博士 ( 工学 ) 産業技術総合研究所研究員 2005 年スタンフォード大学客員研究員 2007 年 ~ 東京大学大学院工学系研究科技術経営戦略学専攻准教授 2014 年東京大学グローバル消費インテリジェンス寄付講座共同代表特任准教授 2015 年産総研 AIセンター企画チーム長人工知能ディープラーニング Web マイニングを専門とする論文数と被引用数に基づき科学者の科学的貢献度を示す h-index=31( ウェブ人工知能分野最高水準 ) であり 2013 年より国際 WWW 会議 Web Mining 部門のチェアを務める世界人工知能国際会議プログラム委員 2012 年より人工知能学会理事編集委員長 ( それまでの慣例を大幅に更新し最年少で編集委員長就任 ) 2014 年から倫理委員長人工知能学会論文賞 (2002 年 ) 情報処理学会長尾真記念特別賞 (2007 年 ) ドコモモバイルサイエンス賞 (2013 年 ) 文部科学省科学技術への顕著な貢献 2015 大川出版賞 (2015 年 ) ビジネス本大賞審査員賞 (2016 年 ) 等受賞経済産業省産業構造審議会新産業構造部会委員 IoT 推進コンソーシアム運営委員厚生労働省働き方の未来 2035 懇談会メンバー内閣府人工知能と人間社会に関する懇談会構成員金融庁フィンテックベンチャーに関する有識者会議委員総務省 ICT インテリジェント化影響評価検討会議委員等近著に人工知能は人間を超えるか?-- ディープラーニングの先にあるもの ( 角川 2015) < 研究室の実績 > 博士学生 17 人修士学部生 10 人が所属し人工知能の基礎研究ソーシャルメディアの分析データ分析及びその実社会へのアプリケーションを多方面にわたって行っているこれまでにトヨタリクルートマイクロソフト CCC 経営共創基盤ミクシィなどさまざまな企業と共同研究の実績がある官公庁からも経産省 ( アジアトレンドマップ等 ) 文科省( ビッグデータ活用 ) など相談多数卒業生の主な進路は Google DeNA 楽天サイバーエージェント光栄ゴールドマンサックス BCG 三井物産電通など起 2 業した学生も多数 GunosyやREADYFORなどのサービスを構築運用している

3 Google の人工知能 ( アルファ碁 ) が囲碁でプロ棋士を破る (2016 年 3 月 ) 読売新聞 2016/3/13 朝鮮日報 2016/3/11 3

関係者の衝撃思考ゲームの歴史 1980 年 : オセロプログラム Moor が世界チャンピオン井上博との六番勝負で 1 勝を挙げた 1997 年 : チェスプログラム Deep Blue(IBM) が世界チャンピオン ( ガルリカスパロフ ) に勝つ 2012 年 : 将棋プログラムボンクラーズが故米長永世棋聖に勝つその後 2015 年までプロ棋士と対局し 9 勝 5 敗 1 分

4 関係者の衝撃思考ゲームの歴史 1980 年 : オセロプログラム Moor が世界チャンピオン井上博との六番勝負で 1 勝を挙げた 1997 年 : チェスプログラム Deep Blue(IBM) が世界チャンピオン ( ガルリカスパロフ ) に勝つ 2012 年 : 将棋プログラムボンクラーズが故米長永世棋聖に勝つその後 2015 年までプロ棋士と対局し 9 勝 5 敗 1 分残るは囲碁のみ将棋の 10 年遅れでまだ 10 年は大丈夫解の空間が広く難しいため 2015 年当時まだアマチュアレベル日本は研究でリード Google(DeepMind) のアルファ碁がトッププロ棋士に勝利 2016 年 1 月に Nature 誌に掲載 Google が買収した DeepMind が参入しあっという間に (1 年程度で ) 抜かれてしまった 2016 年 3 月にトッププロの韓国のイセドルと対局 4 勝 1 敗でアルファ碁の勝利 2016 年 12 月には囲碁サイトに現れ 60 連勝 2017 年 5 月に柯潔九段に 3 連勝鍵となるのはディープラーニングを活用し局面の認識技術を使ったこと alphagox アルファ碁 ai 同士の棋譜 50 局分 1~5 局目解説 / / 4

人工知能をめぐる動向第 1 次 AI ブーム (1956 1960 年代 ): 探索推論の時代ダートマスワークショップ (1956) 人工知能 (Artificial Intelligence) という言葉が決まる世界最初のコンピュータ ENIAC (1946) のわずか 10 年後考えるのが早い人工知能数学の定理証明チェスを指す人工知能等.

5 人工知能をめぐる動向第 1 次 AI ブーム ( 年代 ): 探索推論の時代ダートマスワークショップ (1956) 人工知能 (Artificial Intelligence) という言葉が決まる世界最初のコンピュータ ENIAC (1946) のわずか 10 年後考えるのが早い人工知能数学の定理証明チェスを指す人工知能等... 冬の時代第 2 次 AI ブーム (1980 年代 ): 知識の時代エキスパートシステム医療診断有機化合物の特定第 5 世代コンピュータプロジェクト : 通産省が570 億円... 冬の時代ものしりな人工知能第 3 次 AI ブーム (2013 年 ): 機械学習ディープラーニングの時代ウェブとビッグデータの発展データから学習する人工知能計算機の能力の向上 5

jp/elem/000/000/207/207410/ Eliza 探索迷路パズル第一次 AI ブーム ( 推論探索 ) 機械学習

AI ブーム ( 知識表現 ) ウェブビッグデータチェス (1997) Deep Blue オントロジーディープラーニング革命 Calo

(2012-) 電王戦 ILSVRC での圧勝 (2012) Google の猫認識 (2012) ディープマインドの買収 (2013)

6 将棋電王戦 IBM ワトソン Eliza 探索迷路パズル第一次 AI ブーム ( 推論探索 ) 機械学習 MYCIN( 医療診断 ) DENDRAL システムワトソン (2011) プランニング STRIPS エキスパート対話システムの研究第二次 AI ブーム ( 知識表現 ) ウェブビッグデータチェス (1997) Deep Blue オントロジーディープラーニング革命 Calo プロジェクト bot 車ロボットへの活用タスクオントロジー LOD(Linked Open Data) Siri(2012) 将棋 (2012-) 電王戦 ILSVRC での圧勝 (2012) Google の猫認識 (2012) ディープマインドの買収 (2013) FB/Baidu の研究所 (2013) アルファ碁 (2016) 自動運転 Pepper 統計的自然言語処理 ( 機械翻訳など ) 検索エンジンへの活用囲碁第三次 AI ブーム ( 機械学習ディープラーニング )

7 認識の難しさイヌネコオオカミこれをコンピュータで見分けたい耳が垂れている目が長いイヌ耳がとがっている目が丸いネコ耳がとがっている目が長いオオカミイヌ結局耳が垂れている目が長いなどの特徴量を人間が考えている限り無理どんなに頑張っても必ず例外がある人間はなぜかうまくできる 7

これまでの人工知能の壁特徴抽出の壁難しい問題 1: 機械学習における特徴量の設計 (Feature engineering) 機械学習において変数 ( 特徴量 ) の設計が難しかった人間が対象をよく観察して設計するしかなかった難しい問題 2: フレーム問題人間が知識を記述することで人工知能を動作させるそのときにいくら知識を書いてもうまく例外に対応できない難しい問題 3:

8 これまでの人工知能の壁特徴抽出の壁難しい問題 1: 機械学習における特徴量の設計 (Feature engineering) 機械学習において変数 ( 特徴量 ) の設計が難しかった人間が対象をよく観察して設計するしかなかった難しい問題 2: フレーム問題人間が知識を記述することで人工知能を動作させるそのときにいくら知識を書いてもうまく例外に対応できない難しい問題 3: シンボルグラウンディング問題シマウマがシマのある馬だと計算機が理解することができないシンボル ( 記号 ) がそれが指すものと接続 ( グラウンド ) しておらずシンボルの操作ができない結局のところいままでの人工知能は人間が現実世界の対象物を観察しどこに注目するかを見ぬいて ( 特徴量を取り出して ) モデルの構築を行っていたその後の処理は自動で行うことができたがモデル化の部分に人間が大きく介在していたそれが唯一にして最大の問題であった 8

9 Deep Learning AI における 50 年来のブレークスルーデータをもとにどこに注目すべきかという特徴量が自動的に獲得されている日経ビジネス 2013 年 4 月 15 日号 9

10 Google の猫 (2012) YouTubeから取ってきた大量の画像をニューラルネットワークに学習させることで下位の層のニューロンには線や点といった単純な特徴量が上位の層には人の顔や猫といったより複雑な特徴量が学習されるシニフィエ人間の視神経のモデルとして知られているものと極めて近い Quoc Le, et. al: Building High-level Features Using Large Scale Unsupervised Learning, ICML2012,

認識 : ディープラーニングの実績 (2012) ILSVRC2012:Large Scale Visual Recognition

15.315% Using extra training data from ImageNet Fall 2011 release

422% Using only supplied training data ケタが違う ISI 26.

952% Naïve sum of scores from each classifier with SIFT+FV,

11 認識 : ディープラーニングの実績 (2012) ILSVRC2012:Large Scale Visual Recognition Challenge 2012 ディープラーニング Team name Error Description SuperVision % Using extra training data from ImageNet Fall 2011 release SuperVision % Using only supplied training data ケタが違う ISI % Weighted sum of scores from classifiers using each FC 長年の特徴量設計の工夫 ISI % Naïve sum of scores from classifiers using each FV ISI % Naïve sum of scores from each classifier with SIFT+FV, LBP+FV, GIST+FV and CSIFT+FV, respectively OXFORD_VGG % Mixed selection from High-Level SVM scores and Baseline Scores, decision is performed by looking at the validation performance

12 認識 :2012 年以降のエラー率の変化 Error Before ディープラーニング After ディープラーニング Imagenet 2011 winner (not CNN) 25.7% Imagenet 2012 winner Imagenet 2013 winner Imagenet 2014 winner 16.4% (Krizhesvky et al.) 11.7% (Zeiler/Clarifai) 6.7% (GoogLeNet) Baidu Arxiv paper:2015/1/3 6.0% Human: Andrej Karpathy 5.1% Microsoft Research Arxiv paper: 2015/2/6 4.9% Google Arxiv paper: 2015/3/2 4.8% Microsoft Research CVPR paper: 2015/12/10 3.6% Latest 3.1% 2015 年 2 月には人間の精度を超えた画像認識で人間の精度を超えることは数十年間実現されていなかった 12

Hassabis ら ) その後 Google が買収試行錯誤することによって運動が習熟する最初は下手繰り返すうちにうまくなってくる最終的にはブロック崩しでの通路を作ったりインベーダーゲームでの名古屋撃ちも全く同じプログラムで

13 運動の習熟 : ディープラーニング + 強化学習 (2013-) 強化学習とは行動を学習する仕組み報酬が得られると事前の行動を強化する状態行動望ましさ ( 報酬ありなし ) 古くからある技術だがこれまでは状態を人間が定義してきた運動の習熟が可能に状態の認識にディープラーニングを使う DeepMind の研究者 (D. Hassabis ら ) その後 Google が買収試行錯誤することによって運動が習熟する最初は下手繰り返すうちにうまくなってくる最終的にはブロック崩しでの通路を作ったりインベーダーゲームでの名古屋撃ちも全く同じプログラムで異なるゲームを学習半数のゲームで人間のハイスコアを上回る

(UC Berkeley) 試行錯誤で運転を学習するミニカー (PFI 社日本 ) https://research.preferred.jp/2015/06/distributed-deep-reinforcement-learning/ http://news.berkeley.

14 運動の習熟 : ディープラーニング + 強化学習が実世界へ (2015-) 実世界への適用 2015 年 5 月試行錯誤で部品の取付を習熟するロボットの開発 (UC Berkeley) 2015 年 5 月試行錯誤で運転を習熟するミニカーの開発 (PFN 社, 日本 ) 2015 年 12 月試行錯誤でピッキングが上達するロボットの開発 (PFN ファナック, 日本 ) その他メリーランド大 EU のプロジェクト等も進展考えてみれば当たり前犬や猫でもできる高次な言語能力は必要ない認識が問題だった歴史的には多数の人工知能研究者がこのことを主張してきた試行錯誤で作業学ぶロボット (UC Berkeley) 試行錯誤で運転を学習するミニカー (PFI 社日本 )

15 ディープラーニングの人工知能における意味モラベックのパラドックス : 子供のできることほど難しい高度な推論よりも認識や運動スキルの方が難しいそれがここ 3 年くらいのあいだに一気にできるようになった現在のコンピュータのパワーでようやく可能に GPU を数十台並列に並べて数日数ヶ月計算させてようやく精度が上がるアイディアは昔からあったもともとは日本発 1980 年当時 NHK 放送技術研究所にいた福島邦彦先生によるネオコグニトロンその後も多くの研究者が試みている初期仮説への回帰初期仮説なぜ知能をコンピュータで実現することはできないのか? できると思っていたできない理由があったそれが解消されただとしたらもう一度できるという仮説を取るべきでは産業として非常に大きい可能性を秘めている 15

16 ディープラーニングの今後の発展 1 画像画像から特徴量を抽出する 2 マルチモーダル映像センサーなどのマルチモーダルなデータから特徴量を抽出しモデル化する 3 ロボティクス ( 行動 ) 自分の行動と観測のデータをセットにして特徴量を抽出する記号を操作し行動計画を作る 4 インタラクション外界と試行錯誤することで外界の特徴量を引き出すオントロジー高度な状況の認識 5 言葉とのひもづけ ( シンボルグラウンディング ) 高次特徴量を言語とひもづける 6 言語からの知識獲得画像認識の精度向上動画の認識精度の向上行動予測異常検知プランニング推論言語理解自動翻訳グラウンディングされた言語データの大量の入力によりさらなる抽象化を行う知識獲得のボトルネックの解決認識運動言葉ディープラーニングがすごいというよりその先に広がる世界がすごい 16

人工知能技術の発展と社会への影響 (2014 年 9 月での未来予測 ) 画像による診断広告米国カナダがリード 2007 画像認識の精度向上防犯監視セキュリティマーケティング認識行動予測異常検知コンピュータができて以来初めて画像認識ができる自動運転物流建設農業の自動化製造の効率化環境変化にロバストな自律的行動介護調理掃除翻訳海外向け EC 言語理解文脈にあわせて

17 人工知能技術の発展と社会への影響 (2014 年 9 月での未来予測 ) 画像による診断広告米国カナダがリード 2007 画像認識の精度向上防犯監視セキュリティマーケティング認識行動予測異常検知コンピュータができて以来初めて画像認識ができる自動運転物流建設農業の自動化製造の効率化環境変化にロバストな自律的行動介護調理掃除翻訳海外向け EC 言語理解文脈にあわせて優しく触る持ち上げる技術運動の習熟ロボット機械に熟練した動きができる教育秘書ホワイトカラー支援大規模知識理解言葉の意味理解文の意味が分かる ( 文と映像の相互変換ができる ) 2030? 画像認識マルチモーダルな認識ロボティクスインタラクションシンボルグラウンディング Deep Learning をベースとする AI の技術的発展知識獲得 17

18 人工知能技術の発展と社会への影響画像による診断広告米国カナダがリード 2007 画像認識の精度向上防犯監視セキュリティマーケティング認識行動予測異常検知コンピュータができて以来初めて画像認識ができる自動運転物流建設農業の自動化製造の効率化環境変化にロバストな自律的行動介護調理掃除翻訳海外向け EC 言語理解文脈にあわせて優しく触る持ち上げる技術運動の習熟ロボット機械に熟練した動きができる教育秘書ホワイトカラー支援大規模知識理解言葉の意味理解文の意味が分かる ( 文と映像の相互変換ができる ) 2030? 画像認識マルチモーダルな認識ロボティクスインタラクションシンボルグラウンディング Deep Learning をベースとする AI の技術的発展知識獲得 18

19 言葉の意味理解 :Automated Image Captioning (2014-) a 19

20 言葉の意味理解 :Generating Images ( ) A stop sign flying in blue skies. 20 Elman Mansimov et. al: Generating Images from Captions with Attention, Reasoning, Attention, Memory (RAM) NIPS Workshop 2015, 2015

21 画像による翻訳 ( 意訳 ) 日本語画像英語課題画像から映像体験抽象概念の扱い人間固有のセンサー系いずれにしても視覚的な機構がベースにあるのは間違いない英語 A stop sign flying in blue skies. 日本語止まれ標識が空を飛んでいる映像による推論言語映像 ( シーン予測 ) 次の映像言語風船が飛んでいる山まで飛んで行くのかな日本語日本語 21

22 Google 翻訳が DL 方式に (2016.9) Google Neural Machine Translation (GNMT) 全部入り :8 層の bidirectional RNN (LSTM), Residual connection, Attention さらなる工夫 :TPU の利用, Wordpiece 60% エラーを減らした two to three decimal orders of magnitudes bigger than the WMT corpora for a given language pair 22

23 Deep reinforcement learning (deep RL) has been successful in learning sophisticated behaviors automatically; however, the learning process requires a huge number of trials. In contrast, animals can learn new tasks in just a few trials, bene- fiting from their prior knowledge about the world. This paper seeks to bridge this gap. Rather than designing a fast reinforcement learning algorithm, we propose to represent it as a recurrent neural network (RNN) and learn it from data. In our proposed method, RL2, the algorithm is encoded in the weights of the RNN, which are learned slowly through a general-purpose ( slow ) RL algorithm. The RNN receives all information a typical RL algorithm would receive, including observations, actions, rewards, and termination flags; and it retains its state across episodes in a given Markov Decision Process (MDP). The activations of the RNN store the state of the fast RL algorithm on the current (previously unseen) MDP. We evaluate RL2 experimentally on both small-scale and large-scale problems. On the small-scale side, we train it to solve randomly generated multi-armed bandit problems and finite MDPs. After RL2 is trained, its performance on new MDPs is close to human-designed algorithms with optimality guarantees. On the largescale side, we test RL2 on a vision-based navigation task and show that it scales up to high-dimensional problems. 深い強化学習 ( 深い RL) は洗練された行動を自動的に学習するのに成功していますしかし学習プロセスには膨大な試行が必要ですこれとは対照的に動物は世界についての以前の知識から恩恵を受けわずかな試行で新しい仕事を習得することができますこのペーパーはこのギャップを埋めようとしています高速強化学習アルゴリズムを設計するのではなくそれをリカレントニューラルネットワーク (RNN) として表現しそれをデータから学習することを提案します提案された方法 RL2 ではアルゴリズムは RNN の重みに符号化され RNN は汎用 ( 遅い )RL アルゴリズムによってゆっくり学習される RNN は観察行動報酬および終了フラグを含む典型的な RL アルゴリズムが受け取るすべての情報を受信するそれは所与のマルコフ決定プロセス (MDP) においてエピソード全体にわたってその状態を保持する RNN の活性化は現在の ( 以前は見えなかった )MDP 上の " 高速 " RL アルゴリズムの状態を記憶する我々は RL2 を小規模問題と大規模問題の両方について実験的に評価する小規模な面では無作為に生成された複数武装の禁止問題と有限の MDP を解決するように訓練します RL2 が訓練された後新しい MDP での性能は最適性が保証された人間が設計したアルゴリズムに近くなります大規模な側面では RL2 をビジョンベースのナビゲーションタスクでテストし高次元の問題までスケールアップすることを示します 23

PowerPoint プレゼンテーション

PowerPoint プレゼンテーション人工知能は人間を超えるか - ディープラーニングの先にあるもの東京大学松尾豊 1 東京大学松尾研究室について松尾豊 1997 年東京大学工学部電子情報工学科卒業 2002 年同大学院博士課程修了. 博士 ( 工学 ) 産業技術総合研究所研究員 2005 年スタンフォード大学客員研究員 2007 年 ~ 東京大学大学院工学系研究科技術経営戦略学専攻准教授 2014 年東京大学グローバル消費インテリジェンス寄付講座共同代表