TypeB 新スローガンイメージ (4:3)

Similar documents
Copyright 2008 All Rights Reserved 2

ハピタス のコピー.pages

相続支払い対策ポイント

150423HC相続資産圧縮対策のポイント

nlp1-12.key

Copyright 2008 NIFTY Corporation All rights reserved. 2

初心者にもできるアメブロカスタマイズ新2016.pages

- 2 Copyright (C) All Rights Reserved.

Copyright 2006 KDDI Corporation. All Rights Reserved page1

Copyright All Rights Reserved. -2 -!

Microsoft Word - 最終版 バックせどりismマニュアル .docx

dekiru_asa

untitled

タダでマナべるさかぽん先生.tv 一般動詞の否定文 疑問文 今日の単語今日の授業で使う英単語です しっかり覚えてから授業に進みましょう 単語を 覚えた =その単語を 読める 意味が分かる 書ける 声に出して書きながら覚えていきましょう 1 行く go 2 来る come 3 へ ( 行く

自然言語は曖昧性だらけ! I saw a girl with a telescope 構文解析 ( パージング ) は構造的な曖昧性を解消 2

how-to-decide-a-title

健康保険組合のあゆみ_top

リバースマップ原稿2

Copyright 2010 Sumitomo Mitsui Banking Corporation. All Rights Reserved.

20 180pixel 180pixel Copyright 2014 Yahoo Japan Corporation. All Rights Reserved.


やよいの顧客管理

弥生給与/やよいの給与計算

弥生 シリーズ

弥生会計 プロフェッショナル/スタンダード/やよいの青色申告

弥生会計/やよいの青色申告

弥生会計 ネットワーク/プロフェッショナル2ユーザー


ネットワーク設定マニュアル(Windows Vista編)

Microsoft Word - ベーシックの英文法.docx

PLQ-20 取扱説明書 詳細編

2

PowerPoint プレゼンテーション

KDDI

数理言語

京都立石神井高等学校平成 31 年度教科 ( 外国語 ( 英語 ) ) 科目 ( 英語表現 Ⅱ ) 年間授業計 ( 標準 α) 教 科 : 外国語 ( 英語 ) 科目 : 英語表現 Ⅱ 単位数 : 2 単位 対象学年組 : 第 2 学年 A 組 ~G 組 教科担当者 :(A 組 : 岡本 松井 )(

1000 Copyright(C)2009 All Rights Reserved - 2 -

! Copyright 2015 sapoyubi service All Rights Reserved. 2

report03_amanai.pages

LP-M8040シリーズ

report05_sugano.pages

4 学習の活動 単元 Lesson 1 (2 時間 ) 主語の決定 / 見えない主語の発見 / 主語の it 外国語表現の能力 適切な主語を選択し英文を書くことができる 外国語理解の能力 日本の年中行事に関する内容の英文を読んで理解できる 言語や文化についての知識 理解 適切な主語を選択 練習問題の

untitled

- 2 Copyright (C) All Rights Reserved.

テキストマイニングの登場 テキストデータのような定性データは 大量のデータ を分析することで安定した傾向が見いだせますが 人 手で大量のテキストデータを分析することは現実的に はほとんど不可能でした テキストマイニングの登場によって 大量のデータを 統一的な視点 基準から少ない労力で分析することが

Bluemix いつでもWebinarシリーズ 第15回 「Bluemix概説(改訂版)」

埼玉県学力 学習状況調査 ( 中学校 ) レベル 5~11 復習シート第 2 学年英語 組 番 号 名 前 ( 書くこと について問う問題 ) 1 次の (1)~(4) の日本文の意味を表すように, ア ~ オを並べ替えて英文を作りな さい そして, それぞれの答えで 2 番目と 4 番目にくる語句

PowerPoint プレゼンテーション

Copyright Qetic Inc. All Rights Reserved. 2

DC9GUIDEBook.indb

Releases080909

URL AdobeReader Copyright (C) All Rights Reserved.

Elémentaire Leçon4-4 (初級4-4)

PowerPoint プレゼンテーション


Cisco ViewMail for Microsoft Outlook クイックスタートガイド (リリース 8.5 以降)

Master'sONEセキュアモバイル定額通信サービス(MF120)設定手順書(Ver1_2).doc

授業計画 第 1 回ガイダンス ; 簡単な挨拶をするキーワード / 文字, 発音, 挨拶の表現 習 / 特になし習 / 文字と発音の関係の理解 第 2 回職業や国籍をいう (Ⅰ) キーワード / 名詞の性と数, 主語代名詞, 動詞 être の現在形, 否定文 習 / 教科書の文法解説の概観習 /

Part 4 形容詞節

Microsoft PowerPoint - 04_01_text_UML_03-Sequence-Com.ppt

PowerPoint Presentation

Solibri Model Checker 9.5 スタードガイド

(1)

REGZA Tabletガイド

Copyright (C) 2007 noroiya.com.all Rights Reserved. 2

コンピュータ応用・演習 情報処理システム

Master'sONEセキュアモバイル定額通信サービス(MF120)設定手順書(Ver1_2).doc

Copyright 2017 JAPAN POST BANK CO., LTD. All Rights Reserved. 1

% 11.1% +6.% 4, % %+12.2% 54,16 6.6% EV7, ,183 Copyright 216 JAPAN POST GROUP. All Rights Reserved. 1

Transcription:

自然言語処理入門と活用 NTT コミュニケーションズ株式会社 村上優樹 竹越智也 Copyright NTT Communications Corporation. All rights reserved. 1

私は母と焼肉を食べた Copyright NTT Communications Corporation. All rights reserved. 2

私は母と焼肉を食べた Copyright NTT Communications Corporation. All rights reserved. 3

私は母と焼肉を食べた Copyright NTT Communications Corporation. All rights reserved. 4

私は母と焼肉を食べた Copyright NTT Communications Corporation. All rights reserved. 5

彼はそこで彼女と縄跳びをした Copyright NTT Communications Corporation. All rights reserved. 6

太郎は花子と公園で遊んだ 彼はそこで彼女と縄跳びをした Copyright NTT Communications Corporation. All rights reserved. 7

太郎は花子と公園で遊んだ 彼はそこで彼女と縄跳びをした Copyright NTT Communications Corporation. All rights reserved. 8

太郎は花子と公園で遊んだ 彼はそこで彼女と縄跳びをした Copyright NTT Communications Corporation. All rights reserved. 9

太郎は花子と公園で遊んだ 彼はそこで彼女と縄跳びをした Copyright NTT Communications Corporation. All rights reserved. 10

こんにゃくは太りません Copyright NTT Communications Corporation. All rights reserved. 11

こんにゃくは太りません Copyright NTT Communications Corporation. All rights reserved. 12

こんにゃくは太りません Copyright NTT Communications Corporation. All rights reserved. 13

こんにゃくは太りません こんにゃくはダイエット にいいですよ Copyright NTT Communications Corporation. All rights reserved. 14

アジェンダ オープニング 自己紹介 自然言語処理ってなに 自然言語処理ってどうやってるの 自然言語処理を使ってみる COTOHA APIの紹介 クロージング Copyright NTT Communications Corporation. All rights reserved. 15

自己紹介 名前 : 村上優樹 ( むらかみゆうき ) 入社 2 年目 学生時代 : 自然言語処理 機械学習 所属 :AC 部 AI 推進室 業務 :COTOHA, NLP, 日本語自然言語処理開発 趣味 : 吹奏楽 ( トロンボーン ) ボードゲーム ( ドミニオンとか ) ゲーム AI Copyright NTT Communications Corporation. All rights reserved. 16

自己紹介 竹越智也 経歴新卒入社 2 年目のペーペー 普段やってること自然言語処理サービスの開発 ( アプリケーション インフラ ) 最近の興味 Google Cloud Platform 趣味卓球 食べ歩き 長眠 Copyright NTT Communications Corporation. All rights reserved. 17

アジェンダ オープニング 自己紹介 自然言語処理ってなに 自然言語処理ってどうやってるの 自然言語処理を使ってみる COTOHA APIの紹介 クロージング Copyright NTT Communications Corporation. All rights reserved. 18

自然言語処理ってなに 人間の言葉をコンピュータで自動的に処理させる技術 インターネットの普及 大量のテキストデータが web に溢れている 高速 自動的 適切に大量のテキストを処理したい 自然言語 私達が使う言語 解釈が様々 曖昧 人工言語 プログラミング言語など 解釈が 1 通りに決まる 母と焼肉を食べた [ 私, 母 ] eat ( 焼肉 ) [ 私 ] eat ([ 母, 焼肉 ]) Copyright NTT Communications Corporation. All rights reserved. 19

自然言語処理ってなに 自然言語処理は解釈が様々 曖昧 黒い瞳の大きな女の子 解析することでその解釈を示す Copyright NTT Communications Corporation. All rights reserved. 20

自然言語処理ってなに 実は結構身近に存在する 検索 メールフィルタ チャットボット Copyright NTT Communications Corporation. All rights reserved. 21

自然言語処理事例 検索シソーラスの利用によりあいまいな単語でも検索可能 シソーラス : 単語を 上位 / 下位関係 部分 / 全体関係 同義関係 類義関係などによって分類 体系づけた語彙集 関連語に対応 道具 器具 表記ゆれに対応ヴァーチャル バーチャル引越 引っ越し タイポの訂正もしかして : 農具 文房具 筆記具 文具 筆記用具 同義下位 狭義上位 広義 Copyright NTT Communications Corporation. All rights reserved. 22

自然言語処理事例 メールフィルタベイジアンフィルタで メールの怪しさを評価メール中から怪しい単語を探し 全体の怪しさを評価 ベイジアンフィルタ : 文中の単語の組み合わせにより 文書を複数クラスにクラスタリングするための分類器 自然言語処理をしない場合 自然言語処理をする場合 最近裸眼だと見えづらくなってきたからメガネにしたよ 最近裸眼だと見えづらくなってきたからメガネにしたよ 迷惑メールへ 迷惑メールへ振り分けられない Copyright NTT Communications Corporation. All rights reserved. 23

自然言語処理事例 チャットボットユーザの発言からインテントとエンティティを抽出 インテント : ユーザの発言が どういった意図を持っているのかエンティティ : ユーザの発言のなかにある 意味のある単語 明日の朝 7 時に起こして インテント : アラームをセットしてほしいエンティティ : 明日 7 時 わかりました 明日の 7 時にアラームをセットしますね Copyright NTT Communications Corporation. All rights reserved. 24

自然言語処理事例 紹介したほかにも 翻訳 レコメンド 文書分類 あ A などなど応用先多数 Copyright NTT Communications Corporation. All rights reserved. 25

アジェンダ オープニング 自己紹介 自然言語処理ってなに 自然言語処理ってどうやってるの 自然言語処理を使ってみる COTOHA APIの紹介 クロージング Copyright NTT Communications Corporation. All rights reserved. 26

要素技術の紹介 黒い瞳の大きな女の子 形態素解析 黒い瞳の大きな女の子 nmod 女の子 amod 構文解析 aux amod 黒い 瞳 case の 大きな aobject 女の子 aobjective 意味解析 aobjective 黒 瞳 の 大きな い 文脈解析 黒い瞳の大きな女の子にあった 彼女は可愛かった Copyright NTT Communications Corporation. All rights reserved. 27

要素技術の紹介 黒い瞳の大きな女の子 形態素解析 黒い瞳の大きな女の子 nmod 女の子 amod 構文解析 aux amod 黒い 瞳 case の 大きな aobject 女の子 aobjective 意味解析 aobjective 黒 瞳 の 大きな い 文脈解析 黒い瞳の大きな女の子にあった 彼女は可愛かった Copyright NTT Communications Corporation. All rights reserved. 28

要素技術の紹介 黒い瞳の大きな女の子 形態素解析 黒い瞳の大きな女の子 nmod 女の子 amod 構文解析 aux amod 黒い 瞳 case の 大きな aobject 女の子 aobjective 意味解析 aobjective 黒 瞳 の 大きな い 文脈解析 黒い瞳の大きな女の子にあった 彼女は可愛かった Copyright NTT Communications Corporation. All rights reserved. 29

要素技術の紹介 黒い瞳の大きな女の子 形態素解析 黒い瞳の大きな女の子 nmod 女の子 amod 構文解析 aux amod 黒い 瞳 case の 大きな aobject 女の子 aobjective 意味解析 aobjective 黒 瞳 の 大きな い 文脈解析 黒い瞳の大きな女の子にあった 彼女は可愛かった Copyright NTT Communications Corporation. All rights reserved. 30

形態素解析 形態素解析構文解析意味解析文脈解析 文を最小の意味を持つ言語単位にまで分解し それらの単位の性質を明らかにする処理 日本語や中国語など 単語の切れ目がない言語で必要 東京都に住む すもももももももものうち スモモも桃も桃の内 BOS 東 ( 名詞 ) 京 ( 名詞 ) 東京都 ( 名詞 ) 京都 ( 名詞 ) 都 ( 名詞 ) に ( 助詞 ) に ( 動詞 ) 住む ( 動詞 ) EOS Copyright NTT Communications Corporation. All rights reserved. 31

構文解析 形態素解析構文解析意味解析文脈解析 係り受け解析単語と単語のつながりを解析単語をまとめた文節を認識 句構造解析句としてのまとまりを解析 文 nmod 女の子 amod 格助詞句 aux amod 黒い 瞳 case の 大きな 形容詞 名詞句 名詞句 黒い瞳の大きな女の子 Copyright NTT Communications Corporation. All rights reserved. 32

構文解析 形態素解析構文解析意味解析文脈解析 係り受け解析単語と単語のつながりを解析単語をまとめた文節を認識 句構造解析句としてのまとまりを解析 文 nmod 女の子 amod 格助詞句 aux amod 黒い 瞳 case の 大きな 形容詞 名詞句 名詞句 黒い瞳の大きな女の子 語順が自由な日本語でよく用いられる 語順が自由な日本語には向かない Copyright NTT Communications Corporation. All rights reserved. 33

意味解析 形態素解析構文解析意味解析文脈解析 述語項構造解析述語から見たときの主語 目的語を明らかにする 主語 私 は 食べ 焼き肉を 目的語 た 意味役割解析述語から見たときの各項の意味役割を明らかにする agent 食べ coagent place object time 私 母 公園 焼き肉 は と で を 3 時 に た agent: 動作主 coagent: 動作主と行動を共にする人 object: 対象 place: 場所 time: 時間 Copyright NTT Communications Corporation. All rights reserved. 34

文脈解析 形態素解析構文解析意味解析文脈解析 文章全体での文間の関係を明らかにする 照応解析文章中で指示代名詞の示す対象を明らかにする 太郎は花子と公園で遊んだ 彼はそこで彼女と縄跳びをした 談話構造解析文間の役割関係を明らかにする 自然言語処理は人間の言葉を処理する技術である 例示 形態素解析や構文解析などがある Copyright NTT Communications Corporation. All rights reserved. 35

要素技術の紹介 黒い瞳の大きな女の子 形態素解析 黒い瞳の大きな女の子 nmod 女の子 amod 構文解析 aux amod 黒い 瞳 case の 大きな aobject 女の子 aobjective 意味解析 aobjective 黒 瞳 の 大きな い 文脈解析 黒い瞳の大きな女の子にあった 彼女は可愛かった Copyright NTT Communications Corporation. All rights reserved. 36

アジェンダ オープニング 自己紹介 自然言語処理ってなに 自然言語処理ってどうやってるの 自然言語処理を使ってみる COTOHA APIの紹介 クロージング Copyright NTT Communications Corporation. All rights reserved. 37

自然言語処理を使ってマジカルバナナ マジカルバナナとは前の言葉から連想できる言葉を答えていくゲーム バナナ と言ったら すべる と言ったら 氷 と言ったら 冷蔵庫 Copyright NTT Communications Corporation. All rights reserved. 38

自然言語処理を使ってマジカルバナナ あるお題に対してコンピュータに連想される語を答えさせたい バナナ 黄色 赤色 赤青空地面 Copyright NTT Communications Corporation. All rights reserved. 39

自然言語処理を使ってマジカルバナナ 返すべき語 同じ種類の単語赤ー青 対応する語空ー地面 名詞ー動詞鳥ー飛ぶ 名詞ー形容詞バナナー黄色い クラスーインスタンス電車ー山手線 構文情報からペアをルールで抽出する Copyright NTT Communications Corporation. All rights reserved. 40

ルールによる構文情報からペアを抽出 同じ種類の語 対応する語 赤と青が好き 赤ー青 [N1,conj,N2] & [N1,other,N2] ====> (N1,N2) N: 名詞 V: 動詞 A: 形容詞 X: 品詞問わず Copyright NTT Communications Corporation. All rights reserved. 41

ルールによる構文情報からペアを抽出 名詞ー動詞 鳥が飛ぶ 鳥ー飛ぶ N: 名詞 V: 動詞 A: 形容詞 X: 品詞問わず [V,agent,N] ====> (N,V) Copyright NTT Communications Corporation. All rights reserved. 42

ルールによる構文情報からペアを抽出 名詞ー形容詞 バナナは黄色い果物です バナナー黄色い [N1,aobject,N2] & [N1,adjectivals,A] ====> (N2,A) N: 名詞 V: 動詞 A: 形容詞 X: 品詞問わず Copyright NTT Communications Corporation. All rights reserved. 43

ルールによる構文情報からペアを抽出 クラスーインスタンス 山手線は電車です 電車ー山手線 N: 名詞 V: 動詞 A: 形容詞 X: 品詞問わず [N1,aobject,N2] & [N1,cop,X] ====> (N2,N1) Copyright NTT Communications Corporation. All rights reserved. 44

ルールによる構文情報からペアを抽出 他にも以下のルールを採用 [N1,aobject,N2] ====> (N2,N1) [N1,agent,N2] ====> (N2,N1) [N1,aobject,N2] & [N1,adjectivals,A] ====> (N2,A) [N1,aobject,N2] & [N1,cop,X] ====> (N2,N1) [X,agent,N1] & [X,cause,N2] ====> (N1,N2) [X,agent,N1] & [X,adjectivals,N2] ====> (N1,N2) [N,adjectivals,A] ====> (N,A) [N,adjectivals,N2] ====> (N,N2) [A,aobject,N] ====> (N,A) [N1,conj,N2] & [N1,other,N2] ====> (N1,N2) [N1,nmod,N2] & [N1,other,N2] ====> (N1,N2) [N1,adjectivals,X] & [X,agent,N2] ====> (N2,N1) [N1,adjectivals,N2] & [N1,nmod,N2] & [N2,case,X] ====> (N1,N2) [N1,aobject,N2] & [N1,amod,X] ====> (N2,X) [N1,aobject,N2] & [N1,amod,A] ====> (N1,A) [N1,amod,A] ====> (N1,A) [V,agent,N] ====> (N,V) Copyright NTT Communications Corporation. All rights reserved. 45

自然言語処理による連想ペアネットワーク作成デモ Copyright NTT Communications Corporation. All rights reserved. 46

連想ペアネットワーク Wikipedia のテキストから自動的に作成 138,937 文 ( 全体の 2% ほど ) 歌 と接続されるノードのみ表示 Copyright NTT Communications Corporation. All rights reserved. 47

連想ペアネットワーク 隣接するノードのいずれかを返答する 変な解答をすることがあるので 単語間の類似度で足切りをする Copyright NTT Communications Corporation. All rights reserved. 48

マジカルバナナの返答の作成 構文解析 :COTOHA API の parse 解析結果を json で返してくれる 類似度判定 :COTOHA API の similarity 類似度を数値で返してくれる 近くのレストランはどこ この辺りの定食屋はどこにありますか :0.91079295 お題 連想ペアネットワーク 隣接ノードとお題の類似度判定で足切り 返答 事前に wikipedia と構文解析から構築 Copyright NTT Communications Corporation. All rights reserved. 49

マジカルバナナデモ Copyright NTT Communications Corporation. All rights reserved. 50

アジェンダ オープニング 自己紹介 自然言語処理ってなに 自然言語処理ってどうやってるの 自然言語処理を使ってみる COTOHA APIの紹介 クロージング Copyright NTT Communications Corporation. All rights reserved. 51

COTOHA API とは 様々自然言語処理技術を扱う API 無料で試せるのでぜひ以下のリンクから COTOHA API https://api.ce-cotoha.com Copyright NTT Communications Corporation. All rights reserved. 52

COTOHA API API 一覧 Copyright NTT Communications Corporation. All rights reserved. 53

COTOHA API API 一覧 Copyright NTT Communications Corporation. All rights reserved. 54

COTOHA API API 一覧 私は母と焼肉を食べた β β Copyright NTT Communications Corporation. All rights reserved. 55

COTOHA API API 一覧 Copyright NTT Communications Corporation. All rights reserved. 56

COTOHA API API 一覧 田中は昨日富士山に登った 田中 人名 昨日 時間 富士山 地名 Copyright NTT Communications Corporation. All rights reserved. 57

COTOHA API API 一覧 Copyright NTT Communications Corporation. All rights reserved. 58

COTOHA API API 一覧 太郎は花子と公園で遊んだ 彼はそこで彼女と縄跳びをした Copyright NTT Communications Corporation. All rights reserved. 59

COTOHA API API 一覧 Copyright NTT Communications Corporation. All rights reserved. 60

COTOHA API API 一覧 昨日は久しぶりに懐かしい友人とレストランで昼食を食べた 友人レストラン昼食 Copyright NTT Communications Corporation. All rights reserved. 61

COTOHA API API 一覧 Copyright NTT Communications Corporation. All rights reserved. 62

COTOHA API API 一覧 食べました 宣言文 情報提供 食べましたか 疑問文 情報獲得 食べなさい 命令文 命令 Copyright NTT Communications Corporation. All rights reserved. 63

COTOHA API API 一覧 Copyright NTT Communications Corporation. All rights reserved. 64

COTOHA API API 一覧 私は昨日田町駅で飲みに行ったら奥さんに怒られた 年齢 :40~49 歳既婚 :yes 習慣 : 飲酒職業 : 会社員通勤手段 : 電車趣味 : 動物 料理 釣り ギャンブル Copyright NTT Communications Corporation. All rights reserved. 65

COTOHA API API 一覧 Copyright NTT Communications Corporation. All rights reserved. 66

COTOHA API API 一覧 近くのレストランはどこですか この辺りの定食屋はどこにありますか 類似度 :0.91079295 Copyright NTT Communications Corporation. All rights reserved. 67

COTOHA API API 一覧 Copyright NTT Communications Corporation. All rights reserved. 68

アジェンダ オープニング 自己紹介 自然言語処理ってなに 自然言語処理ってどうやってるの 自然言語処理を使ってみる COTOHA APIの紹介 クロージング Copyright NTT Communications Corporation. All rights reserved. 69

最後に この講演で自然言語処理について少しでも興味を持ってくれたら嬉しいです まだまだ可能性が詰まっている分野なので皆で盛り立てていきましょう COTOHA API は Qiita に記事も投稿されています よろしければそちらも読んでみてください Copyright NTT Communications Corporation. All rights reserved. 70