TypeB　新スローガンイメージ（4：3）

Size: px

Start display at page:

Download "TypeB　新スローガンイメージ（4：3）"

たいちみしま
5 years ago
Views:

16 自己紹介名前 : 村上優樹 ( むらかみゆうき ) 入社 2 年目学生時代 : 自然言語処理機械学習所属 :AC 部 AI 推進室業務 :COTOHA, NLP, 日本語自然言語処理開発趣味 : 吹奏楽 ( トロンボーン ) ボードゲーム ( ドミニオンとか ) ゲーム AI Copyright NTT Communications Corporation. All rights reserved. 16

自己紹介竹越智也経歴新卒入社 2 年目のペーペー普段やってること自然言語処理サービスの開発 ( アプリケーションインフラ ) 最近の興味 Google Cloud

19 自然言語処理ってなに人間の言葉をコンピュータで自動的に処理させる技術インターネットの普及大量のテキストデータが web に溢れている高速自動的適切に大量のテキストを処理したい自然言語私達が使う言語解釈が様々曖昧人工言語プログラミング言語など解釈が 1 通りに決まる母と焼肉を食べた [ 私, 母 ] eat ( 焼肉 ) [ 私 ] eat ([ 母, 焼肉 ]) Copyright NTT Communications Corporation. All rights reserved. 19

22 自然言語処理事例検索シソーラスの利用によりあいまいな単語でも検索可能シソーラス : 単語を上位 / 下位関係部分 / 全体関係同義関係類義関係などによって分類体系づけた語彙集関連語に対応道具器具表記ゆれに対応ヴァーチャルバーチャル引越引っ越しタイポの訂正もしかして : 農具文房具筆記具文具筆記用具同義下位狭義上位広義 Copyright NTT Communications Corporation. All rights reserved. 22

23 自然言語処理事例メールフィルタベイジアンフィルタでメールの怪しさを評価メール中から怪しい単語を探し全体の怪しさを評価ベイジアンフィルタ : 文中の単語の組み合わせにより文書を複数クラスにクラスタリングするための分類器自然言語処理をしない場合自然言語処理をする場合最近裸眼だと見えづらくなってきたからメガネにしたよ最近裸眼だと見えづらくなってきたからメガネにしたよ迷惑メールへ迷惑メールへ振り分けられない Copyright NTT Communications Corporation. All rights reserved. 23

24 自然言語処理事例チャットボットユーザの発言からインテントとエンティティを抽出インテント : ユーザの発言がどういった意図を持っているのかエンティティ : ユーザの発言のなかにある意味のある単語明日の朝 7 時に起こしてインテント : アラームをセットしてほしいエンティティ : 明日 7 時わかりました明日の 7 時にアラームをセットしますね Copyright NTT Communications Corporation. All rights reserved. 24

27 要素技術の紹介黒い瞳の大きな女の子形態素解析黒い瞳の大きな女の子 nmod 女の子 amod 構文解析 aux amod 黒い瞳 case の大きな aobject 女の子 aobjective 意味解析 aobjective 黒瞳の大きない文脈解析黒い瞳の大きな女の子にあった彼女は可愛かった Copyright NTT Communications Corporation. All rights reserved. 27

28 要素技術の紹介黒い瞳の大きな女の子形態素解析黒い瞳の大きな女の子 nmod 女の子 amod 構文解析 aux amod 黒い瞳 case の大きな aobject 女の子 aobjective 意味解析 aobjective 黒瞳の大きない文脈解析黒い瞳の大きな女の子にあった彼女は可愛かった Copyright NTT Communications Corporation. All rights reserved. 28

29 要素技術の紹介黒い瞳の大きな女の子形態素解析黒い瞳の大きな女の子 nmod 女の子 amod 構文解析 aux amod 黒い瞳 case の大きな aobject 女の子 aobjective 意味解析 aobjective 黒瞳の大きない文脈解析黒い瞳の大きな女の子にあった彼女は可愛かった Copyright NTT Communications Corporation. All rights reserved. 29

30 要素技術の紹介黒い瞳の大きな女の子形態素解析黒い瞳の大きな女の子 nmod 女の子 amod 構文解析 aux amod 黒い瞳 case の大きな aobject 女の子 aobjective 意味解析 aobjective 黒瞳の大きない文脈解析黒い瞳の大きな女の子にあった彼女は可愛かった Copyright NTT Communications Corporation. All rights reserved. 30

31 形態素解析形態素解析構文解析意味解析文脈解析文を最小の意味を持つ言語単位にまで分解しそれらの単位の性質を明らかにする処理日本語や中国語など単語の切れ目がない言語で必要東京都に住むすもももももももものうちスモモも桃も桃の内 BOS 東 ( 名詞 ) 京 ( 名詞 ) 東京都 ( 名詞 ) 京都 ( 名詞 ) 都 ( 名詞 ) に ( 助詞 ) に ( 動詞 ) 住む ( 動詞 ) EOS Copyright NTT Communications Corporation. All rights reserved. 31

33 構文解析形態素解析構文解析意味解析文脈解析係り受け解析単語と単語のつながりを解析単語をまとめた文節を認識句構造解析句としてのまとまりを解析文 nmod 女の子 amod 格助詞句 aux amod 黒い瞳 case の大きな形容詞名詞句名詞句黒い瞳の大きな女の子語順が自由な日本語でよく用いられる語順が自由な日本語には向かない Copyright NTT Communications Corporation. All rights reserved. 33

34 意味解析形態素解析構文解析意味解析文脈解析述語項構造解析述語から見たときの主語目的語を明らかにする主語私は食べ焼き肉を目的語た意味役割解析述語から見たときの各項の意味役割を明らかにする agent 食べ coagent place object time 私母公園焼き肉はとでを 3 時にた agent: 動作主 coagent: 動作主と行動を共にする人 object: 対象 place: 場所 time: 時間 Copyright NTT Communications Corporation. All rights reserved. 34

35 文脈解析形態素解析構文解析意味解析文脈解析文章全体での文間の関係を明らかにする照応解析文章中で指示代名詞の示す対象を明らかにする太郎は花子と公園で遊んだ彼はそこで彼女と縄跳びをした談話構造解析文間の役割関係を明らかにする自然言語処理は人間の言葉を処理する技術である例示形態素解析や構文解析などがある Copyright NTT Communications Corporation. All rights reserved. 35

36 要素技術の紹介黒い瞳の大きな女の子形態素解析黒い瞳の大きな女の子 nmod 女の子 amod 構文解析 aux amod 黒い瞳 case の大きな aobject 女の子 aobjective 意味解析 aobjective 黒瞳の大きない文脈解析黒い瞳の大きな女の子にあった彼女は可愛かった Copyright NTT Communications Corporation. All rights reserved. 36

ルールによる構文情報からペアを抽出同じ種類の語対応する語赤と青が好き赤ー青 [N1,conj,N2] & [N1,other,N2] ====> (N1,N2) N:

ルールによる構文情報からペアを抽出名詞ー動詞鳥が飛ぶ鳥ー飛ぶ N: 名詞 V: 動詞 A: 形容詞 X: 品詞問わず [V,agent,N]

ルールによる構文情報からペアを抽出名詞ー形容詞バナナは黄色い果物ですバナナー黄色い [N1,aobject,N2] & [N1,adjectivals,A] ====>

ルールによる構文情報からペアを抽出クラスーインスタンス山手線は電車です電車ー山手線 N: 名詞 V: 動詞 A: 形容詞 X: 品詞問わず [N1,aobject,N2] &

45 ルールによる構文情報からペアを抽出他にも以下のルールを採用 [N1,aobject,N2] ====> (N2,N1) [N1,agent,N2] ====> (N2,N1) [N1,aobject,N2] & [N1,adjectivals,A] ====> (N2,A) [N1,aobject,N2] & [N1,cop,X] ====> (N2,N1) [X,agent,N1] & [X,cause,N2] ====> (N1,N2) [X,agent,N1] & [X,adjectivals,N2] ====> (N1,N2) [N,adjectivals,A] ====> (N,A) [N,adjectivals,N2] ====> (N,N2) [A,aobject,N] ====> (N,A) [N1,conj,N2] & [N1,other,N2] ====> (N1,N2) [N1,nmod,N2] & [N1,other,N2] ====> (N1,N2) [N1,adjectivals,X] & [X,agent,N2] ====> (N2,N1) [N1,adjectivals,N2] & [N1,nmod,N2] & [N2,case,X] ====> (N1,N2) [N1,aobject,N2] & [N1,amod,X] ====> (N2,X) [N1,aobject,N2] & [N1,amod,A] ====> (N1,A) [N1,amod,A] ====> (N1,A) [V,agent,N] ====> (N,V) Copyright NTT Communications Corporation. All rights reserved. 45

連想ペアネットワーク Wikipedia のテキストから自動的に作成 138,937 文 ( 全体の 2% ほど ) 歌

49 マジカルバナナの返答の作成構文解析 :COTOHA API の parse 解析結果を json で返してくれる類似度判定 :COTOHA API の similarity 類似度を数値で返してくれる近くのレストランはどここの辺りの定食屋はどこにありますか : お題連想ペアネットワーク隣接ノードとお題の類似度判定で足切り返答事前に wikipedia と構文解析から構築 Copyright NTT Communications Corporation. All rights reserved. 49

COTOHA API API 一覧私は母と焼肉を食べた β β Copyright NTT

Copyright 2008 All Rights Reserved 2

Copyright 2008 All Rights Reserved 1 Copyright 2008 All Rights Reserved 2 Copyright 2008 All Rights Reserved 3 Copyright 2008 All Rights Reserved 4 Copyright 2008 All Rights Reserved 5 Copyright 2008 All

TypeB 新スローガンイメージ （4：3）

TypeB　新スローガンイメージ（4：3）