PowerPoint プレゼンテーション

Size: px

Start display at page:

Download "PowerPoint プレゼンテーション"

みいかこけい
5 years ago
Views:

1 最近の自然言語生成 & 将棋解説文生成 2016/05/11 亀甲博貴

2 自己紹介亀甲博貴 (Hirotaka KAMEKO) 東大鶴岡研 D2 自然言語処理ゲーム AI やることは同じ ( 評価と探索 ) 2016/05/11 TokyoCL #04 2 / 38

3 今日のテーマ最近の自然言語生成将棋解説文の生成 2016/05/11 TokyoCL #04 3 / 38

最近の自然言語生成 Image Captioning が大流行 Captioning Challenge @ CVPR 2015 The man at bat readies to swing at the pitch while the

4 最近の自然言語生成 Image Captioning が大流行 Captioning CVPR 2015 The man at bat readies to swing at the pitch while the umpire looks on A large bus sitting next to a very tall building Video description その他多様なデータ 2016/05/11 TokyoCL #04 4 / 38

5 生成のアプローチ定型文テンプレート文法ベース言語モデルベース n gram 言語モデル RNN 言語モデル 2016/05/11 TokyoCL #04 5 / 38

6 RNN RNN RNN RNN ベースの自然言語生成 Softmax Softmax Softmax Attention うまいエンコード ( ドメイン依存 ) 2016/05/11 TokyoCL #04 6 / 38

7 RNN RNN RNN RNN ベースの XXXX 勉強会 #02 Attention Softmax Softmax Softmax うまいエンコード ( ドメイン依存 ) 今日の話のメイン 2016/05/11 TokyoCL #04 7 / 38

8 Image Captioning 画像キャプション The Flickr 8k Dataset [Hodosh et al., 2013] Microsoft COCO Captions [Lin et al., 2014] web から集めてきた画像人手 (AMT など ) で複数のキャプションを付与画像動画データセットリスト /05/11 TokyoCL #04 8 / 38

9 Show and Tell: A Neural Image Caption Generator [Vinyals et al., 2015] 画像を CNN(GoogLeNet [Szegedy et al., 2014]+BN[Ioffe et al., 2015]) で Embedding ImageNet データセットで pretraining 画像のベクタを Embedding された単語の代わりに入力 2016/05/11 TokyoCL #04 9 / 38

10 Show, Attend and Tell: Neural Image Caption Generation with Visual Attention [Xu et al., 2015] 画像を CNN(VGGnet [Simonyan et al., 2014]) で Embedding ImageNet データセットで pretraining 画像のベクタを Embedding された単語の代わりに入力 2016/05/11 TokyoCL #04 10 / 38

11 Video Description 動画 ( の一部 ) 説明文 Microsoft Research Video Description Corpus [Chen and Dolan, 2011] YouTube の動画を人手で区切り説明文を付与開始時間終了時間 aea-hn7bmdo,34,41,807872,clean,18,english, A woman cuts up broccoli. 他多数画像動画データセットリスト /05/11 TokyoCL #04 11 / 38

12 Translating Videos to Natural Language Using Deep Recurrent Neural Networks [Venugopalan et al., 2015] サンプリングされたフレームを CNN(AlexNet) で Embedding 全フレームで平均化 LSTM の 1 層目に毎回入力 2016/05/11 TokyoCL #04 12 / 38

, 2016] Improving LSTM-based Video Description with

13 RNN での動画の Encoding Video Description using Bidirectional Recurrent Neural Networks [Peris et al., 2016] Improving LSTM-based Video Description with Linguistic Knowledge Mined from Text [Venugopalan et al., 2016] 2016/05/11 TokyoCL #04 13 / 38

14 Semantically Conditioned LSTM-based Natural Language Generation for Spoken Dialogue Systems [Wen et al., 2015] 対話システムの応答文生成入力 :Dialogue Act (DA) e.g. (area=cathedral, kids=no) 出力 : 応答文与えられた DA に対して適切な応答文を人手で付与し教師に DA 用 LSTM とユニットを用意 2016/05/11 TokyoCL #04 14 / 38

15 まとめ対象とする状態と対応するテキスト質の高い教師データを人手で作成強力なモデルでエンコーディング画像 / 動画に対する CNN RNN によってテキスト生成 2016/05/11 TokyoCL #04 15 / 38

16 今日のテーマ最近の自然言語生成将棋解説文の生成 2016/05/11 TokyoCL #04 16 / 38

17 ゲーム AI の現状囲碁 : 人間より強い AlphaGo (1,202 CPUs GPUs) > 人間トップ将棋 : 人間より強い ponanza ( 市販 PC1 台 ) > 人間プロ ( ルールが明快な ) ゲームは人間よりコンピュータが既に賢い 2016/05/11 TokyoCL #04 17 / 38

18 強い AI による解説の需要ヤンゴン 9 段 ( 棋士会長 ) もし 2 局でも負けると AlphaGo の自戦解説を聞きたいという話が出るかも知れない ( 囲碁ニュースの翻訳記事 ) 元ソースは ( 読めないので ) 不明一家に一台 AlphaGo(1,200 CPUs+176GPUs) 2016/05/11 TokyoCL #04 18 / 38

19 強い AI による解説の需要ヤンゴン 9 段 ( 棋士会長 ) もし 2 局でも負けると AlphaGo の自戦解説を聞きたいという話が出るかも知れない ( 囲碁ニュースの翻訳記事 ) 元ソースは ( 読めないので ) 不明一家に一台強い将棋プログラム 2016/05/11 TokyoCL #04 19 / 38

20 コメントデータ名人戦順位戦の棋譜 ( ほぼ ) 全棋士参加 2003 年から棋譜を web 配信人間がコメントを付けている 8,397 棋譜 / 475,392 コメント (2016/03/02) 収集スクリプト単語分割 KyTea をアノテーションした将棋コメントで学習 /05/11 TokyoCL #04 20 / 38

21 データ例 ( 第 69 期名人戦七番勝負第 1 局 ) ( ヘッダ ) 手数 ---- 指手 -- * 過去の対戦成績は羽生 58 勝森内 44 勝 * 振り駒の結果と金が 4 枚出て森内の先手に決まった *( 棋譜コメント入力 = 銀杏 ) 1 7 六歩 (77) ( 0:00/00:00:00) * 羽生は目を閉じ駒音に耳を澄ませていた 2 3 四歩 (33) ( 0:00/00:00:00) * 羽生の 2 手目は 3 四歩横歩取りや 1 手損角換わり志向の出だし 3 2 六歩 (27) ( 0:00/00:00:00) * 現在 BS プレミアムでテレビ中継が行われている 2016/05/11 TokyoCL #04 21 / 38

22 データ例 ( 第 69 期名人戦七番勝負第 1 局 ) ( ヘッダ ) 手数 ---- 指手 -- * 過去の対戦成績は羽生 58 勝森内 44 勝 * 振り駒の結果と金が4 枚出て森内の先手に決まった *( 棋譜コメント入力 = 銀杏 ) 1 7 六歩 (77) ( 0:00/00:00:00) * 羽生は目を閉じ駒音に耳を澄ませていた 2 3 四歩 (33) ( 0:00/00:00:00) こういうコメントを出したい * 羽生の2 手目は 3 四歩横歩取りや1 手損角換わり志向の出だし 3 2 六歩 (27) ( 0:00/00:00:00) * 現在 BSプレミアムでテレビ中継が行われているこういうコメントはどうでもいい 2016/05/11 TokyoCL #04 22 / 38

23 タスクの難しさ 1 四玉なら 3 五飛成が好手という以下同馬同角 3 六飛 4 三角で 3 五飛は 2 六金と押さえる 2016/05/11 TokyoCL #04 23 / 38

24 タスクの難しさ 1 四玉 3 五飛成同馬同角 3 六飛 4 三角 3 五飛 2 六金 1 四玉なら 3 五飛成が好手という以下同馬同角 3 六飛 4 三角で 3 五飛は 2 六金と押さえる学習時 : 状態とテキストの正確な対応付け生成時 : 対象局面を動的に変更 ( 今後の課題 ) 2016/05/11 TokyoCL #04 24 / 38

25 タスクの難しさ 1 四玉 3 五飛成同馬同角 3 六飛 4 三角 3 五飛 2 六金 1 四玉なら 3 五飛成が好手という以下同馬同角 3 六飛 4 三角で 3 五飛は 2 六金と押さえる将棋の局面遷移は基本的にある記法 ( 符号 ) に従うプレイヤ + 座標 + 種類 +α 符号に則っていないものは今回は無視 2016/05/11 TokyoCL #04 25 / 38

26 解説木解説文ここで 7 六飛のマネ将棋は 2 二角成に取る駒がなく終わってしまう 8 六歩同飛 3 四飛 7 六飛 2 二角成 1 手前現在の状態合法手を繋げた木解説木解説文 2 五飛と回られては 2 八歩と使わされてしまう 8 七歩 8 五飛 2 六飛狙いの解説のためパスも必要 Pass 2 五飛 2 八歩解説木が作れる将棋に関係する 2016/05/11 TokyoCL #04 というおまけ付き 26 / 38

27 解説木の生成候補の列挙将棋のルールと照らし合わせながら多少のヒューリスティクス適切な木の選択コンピュータプレイヤの評価解説中にめちゃくちゃな手 ( 悪手 ) はあまり出てこない 2016/05/11 TokyoCL #04 27 / 38

28 候補木 8 七歩 8 七歩 8 七歩 8 五飛 8 五飛 8 五飛 2 六飛 2 六飛 2 六飛開始状態 2 五飛 2 五飛 2 八歩 8 七歩 8 五飛候補木 1 8 七歩 8 五飛 2 六飛 Pass 2 六飛 Pass 2 五飛 2 五飛 8 七歩 2 八歩 8 五飛 2 五飛候補木 2 棋譜 3 六飛 2 二銀 8 七歩 8 五飛 2 六飛解説文 2 五飛と回られては 2 八歩と使わされてしまう解説木になりうる木候補木候補木の列挙解説木の選択 2 六飛 2016/05/11 TokyoCL #04 28 / 38

29 悪手の判別手の決定 :Min-Max 探索局面評価 + 木探索 20 MAX ノード自分はなるべく高い局面を選ぶ MIN ノード相手はなるべく低い局面を選ぶ局面の評価高いほど自分有利低いほど相手有利 2016/05/11 TokyoCL #04 29 / 38

30 悪手の判別ルート局面評価値 :20 20 最善手局面評価値 :20 最善手悪手悪手局面評価値 : 大幅ダウン指し手前後の評価値変動幅 = 指し手の悪手度を基準に解説木選択木全体の悪手度が低い候補木 2016/05/11 TokyoCL #04 30 / 38

31 文生成への適用同飛 8 三角 7 一飛 7 二歩 6 四飛として飛車を活用しやすいように逃げる解説文同飛 8 三角に 6 四飛として飛車を活用しやすいように逃げる手も有力だ ~~ 入力 : テキストの直前の符号に対応する局面 + 指し手 2016/05/11 TokyoCL #04 31 / 38

32 LSTM LSTM LSTM 生成モデル人間より強いプレイヤが実現できている素性の表現力は十分では? Embedding vector (1, 0, 0, 0.5,..., 0, 0, 0) 2016/05/11 TokyoCL #04 32 / 38

33 素性へのアテンション p y i y 1, y i 1, x = g(h i, c i ) c i = α ij f j α ij = exp e ij exp e ik e ij = h i f j x: 対象局面 y i : i 番目の単語 h i : LSTM の隠れ層 c i : context vector f j : 将棋の各素性に対応する embedding vector 2016/05/11 TokyoCL #04 33 / 38

34 学習データ入力 : 将棋ソフト激指が用いる素性トップレベルの強さ線形和で局面や指し手を評価駒の組み合わせなど約 300,000 次元出力 : コメント約 10,000 次元約 60,000 文 2016/05/11 TokyoCL #04 34 / 38

35 学習設定 50 次元スケジューリング :SGD 学習率 : 目視で色々 Gradient Clipping 途中で変更しつつミニバッチ学習 (batchsize = 24) ユニットの実装 : をベースに C++/Eigen での LSTM 実装 ( 勉強会 #03) /05/11 TokyoCL #04 35 / 38

36 生成例第 1 期電王戦第 1 局先手 :ponanza( コンピュータ ) 後手 : 山崎隆之叡王貪欲法による生成 2016/05/11 TokyoCL #04 36 / 38

37 問題点時制の不一致現局面と学習局面の関係を考慮していない同じ内容の繰り返し各局面ごとに独立に生成探索結果に基づく解説はできない勝ち負け etc. 2016/05/11 TokyoCL #04 37 / 38

38 まとめ将棋の状態とテキストの正確な対応付け将棋のルールと将棋プログラムの探索結果に基づいて自動で解釈局面テキストペアで言語モデルを学習対象局面の素性のみから実況程度の発話より高度な発話のためにはより広い範囲を見る必要アリ 2016/05/11 TokyoCL #04 38 / 38

dlshogiアピール文章

dlshogiアピール文章第 28 回世界コンピュータ将棋選手権 dlshogi アピール文章山岡忠夫 2018 年 5 月 1 日更新下線部分は第 5 回将棋電王トーナメントからの差分を示す 1 特徴ディープラーニングを使用指し手を予測する Policy Network 局面の勝率を予測する Value Network 入力特徴にドメイン知識を活用モンテカルロ木探索並列化自己対局による強化学習既存将棋プログラムの自己対局データを使った事前学習