PowerPoint プレゼンテーション

Size: px

Start display at page:

Download "PowerPoint プレゼンテーション"

れれすずがみね
6 years ago
Views:

1 資料はこちら : シミュレーションとモデリングとキャラクタモーション東京工業大学研究院未来産業技術研究所 / 工学院情報通信系長谷川晶一 1993 年学部 1 年以来バーチャルリアリティの研究をしています

2 バーチャルリアリティ (VR) が普及しています HMD の低価格化 (Oculus Rift) により用途が拡大中 VR 世界でコミュニケーションアバター (= 自分の姿 ) が変わると行動や性格が変わる人も 2

Vestibular nucleus 4 Midline Type I neurons Type II neurons 3 DLPN VPFL MT & MST Visual cortex LGN MLF 9 Chiasma opticum 11 7 12 10 Oculomotor nucleus Abducens nucleus VPFL DLPN MT & MST Visual

3 Vestibular nucleus 4 Midline Type I neurons Type II neurons 3 DLPN VPFL MT & MST Visual cortex LGN MLF 9 Chiasma opticum Oculomotor nucleus Abducens nucleus VPFL DLPN MT & MST Visual cortex LGN 13 Temporal retina 1 Medial rectus Nasal retina 2 optical axis Lateral rectus バーチャルリアリティの仕組みと中身のリアリティバーチャルリアリティでは中身のリアリティも大切バーチャル世界はシミュレーションとモデリングでできているこころ認識行動決定動作生成体の制御感覚視覚聴覚前庭感覚眼球運動頭部運動到達運動インタフェース提示入力計測触覚移動バランス表面のリアリティ感覚とインタフェースの層コンピュータシミュレーションバーチャル世界中身のリアリティ認識とモデルの層 3

4 VRの例 : バーチャルカヌーカヌーのシミュレーション実際のカヌーのスキルの一部が身につくカヌーの近くを掻くと前に進む遠くを掻くと回転してしまう 4

5 流体のシミュレーション水の動きと水圧 = 水面の高さをシミュレーション色 : 水圧白い線 : 流速 5

6 バーチャルカヌーの舞台裏川岸の映像用 3D モデル川岸の衝突判定用モデル 6

7 岩と流木岩 : 障害物として川に固定配置流木 : 水に浮く物体にして時々上流から流す 7

8 遠景 : 巨大な球殻の内側にテクスチャ ( 写真 ) を貼付 8

9 バーチャルカヌーの舞台裏遠景遠景川岸岩カヌーパドル 3 次元の多面体で形状をモデル化水面岩川岸テクスチャ ( 写真模様 ) を貼り付ける水面流体の運動をシミュレーションして水面の形を求め半透明に表示する 9

10 バーチャルカヌーでは漕ぐことしかできない作ってないものは存在しないカヌーを降りて川岸を歩いて山に登ろうと思っても遠景は球に貼り付けた写真でしかないカヌーから降りられないカヌーを降りるために手をカヌーにつけない降りるためのシミュレーションやプログラムがない歩けない歩くための仕組みは作ってない 10

11 なんでもできるバーチャル世界? Google Street View は車から 360 カメラで計測した写真の中を自由に歩き回れるしかし動き回れるだけで例えば物を拾えない Google street view 11

12 バーチャル世界を作るバーチャル世界のデータの作成色と形の作成の例 : どんなデータを用意する? モデリングツール Blender USC CAS gr. Rapid Avatar 変形 : 硬さ運動 : 質量慣性温度 : 比熱熱伝導率相転移 ( 氷水 )? 化学反応 ( 焦げる固まる )? 12

13 バーチャルクッキング 13

14 14

15 バーチャルクッキング熱伝達水分エンタテインメント練習用の料理シミュレータ動力学映像提示

16 バーチャル世界で料理がしたかったら料理の手がかりとなる感覚を提示したいそのためのモデリングが必要どんな手がかりが必要? 映像サーモカメラ映像料理が上手なレシピ記述者料理レシピキッチン + 料理初心者必要な情報を調べるべくとても詳しい料理レシピを作ってみた 16

レシピの変遷 1 レシピ < だし巻き卵 > 初版 1. だしを作製する. ボールに砂糖大さじ1, 醤油小さじ1, 鰹だしスティック半分, みりん大さじ1.5, お湯大さじ4 を計りボールに入れる. 2. 卵 3 個をボールに入れて研ぐ. ここで, 繋がっている白身を切るようにして研ぐことに注意する. 3. だしを2. に入れて混ぜ合わせる. 4.

17 レシピの変遷 1 レシピ < だし巻き卵 > 初版 1. だしを作製する. ボールに砂糖大さじ1, 醤油小さじ1, 鰹だしスティック半分, みりん大さじ1.5, お湯大さじ4 を計りボールに入れる. 2. 卵 3 個をボールに入れて研ぐ. ここで, 繋がっている白身を切るようにして研ぐことに注意する. 3. だしを2. に入れて混ぜ合わせる. 4. サラダ油で浸したキッチンペーパーで, フライパンに油を敷く. 5. フライパンに卵を一筋だけたらし, ジュージューと音がすることを確認出来たら, ボールに入っている量の4 分の1 の量をフライパンに流し込む. 6. 卵から空気泡が出てきたら, 奥から3 分の1 の所でひっくり返す操作を2 度繰り返すの卵をフライパンの奥に持っていき,5. と6. の操作を3 回繰り返す. 小さじ大さじがどれか分からず停止 1. だしを作製する. ボールに砂糖大さじ (15 のスプーン )1, 醤油小さじ1(2.5 のスプーン ), 鰹だしスティック半分, みりん大さじ1.5, お湯大さじ4 を計りボールに入れる. 火をつける手順火加減がないため停止 5. サラダ油を敷いたら, 火をつける. 火加減は中火で. 最後まで調理できたが黒焦げ 17

卵を料理箸に伝わせて一筋 ( 一滴 ) だけたらし, ジュージューと音がすることを確認出来たら, ボールに入っている量の4 分の1 の量をフライパンに流し込む. 7. 卵から空気泡が出てくるまで箸などでひっくり返さずに, フライパンを回しながら待つ.

18 レシピの変遷 2 レシピ < だし巻き卵 > 第 4 版 1. だしを作製する. ボールに砂糖大さじ (15 のスプーン )1, 醤油小さじ1(2.5 のスプーン ), 鰹だしスティック半分, みりん大さじ1.5, お湯大さじ4 を計りボールに入れる. 2. 卵 3 個をボールに入れて研ぐ. ここで, 繋がっている白身を切るようにして研ぐことに注意する. 3. だしを2. に入れて混ぜ合わせる. 4. サラダ油で浸したキッチンペーパーで, フライパンに油を敷く. 5. サラダ油を敷いたら, 火をつける. 火加減は弱火で. 6. 卵を料理箸に伝わせて一筋 ( 一滴 ) だけたらし, ジュージューと音がすることを確認出来たら, ボールに入っている量の4 分の1 の量をフライパンに流し込む. 7. 卵から空気泡が出てくるまで箸などでひっくり返さずに, フライパンを回しながら待つ. 卵の焼けていないところがなくなったら ( 柔らかいところがなくなったら ), 奥から3 分の1 の付近を目安に, 箸で剥がしながらひっくり返す. この操作を2 度繰り返すの卵をフライパンの奥に持っていき,4. で使用した方法で油を敷く. 卵の下のところにも卵を動かして油を敷く. 9. 最初の量の4 分の1 程度をフライパンに流し込む. このとき卵の下にも卵が流れ込むように卵を入れるから9. の操作を3 回繰り返す. 火が弱すぎるため厚さがでない 18

レシピの変遷 3 レシピ < だし巻き卵 > 第 5 版 7. 卵から空気泡が出てくるまで箸などでひっくり返さずに, フライパンを回しながら待つ. 空気泡が出なくなったら ( 柔らかいところがなくなったら ), 奥から3 分の1 の付近を目安に, 箸で剥がしながら奥から手前にひっくり返す. この操作を2 度繰り返す.

卵を料理箸につけてフライパンにポンと振って落とし, 卵を落とした瞬間に固まる程度であれば ( そうでなければもう少し待ってみて再度繰り返す ), ボールに入っている量の4 分の1 の量をフライパンに流し込む. 全体に行き渡すようにフライパンを振る. 7.

19 レシピの変遷 3 レシピ < だし巻き卵 > 第 5 版 7. 卵から空気泡が出てくるまで箸などでひっくり返さずに, フライパンを回しながら待つ. 空気泡が出なくなったら ( 柔らかいところがなくなったら ), 奥から3 分の1 の付近を目安に, 箸で剥がしながら奥から手前にひっくり返す. この操作を2 度繰り返す. レシピ < だし巻き卵 > 第 6 版 6. 卵を料理箸につけてフライパンにポンと振って落とし, 卵を落とした瞬間に固まる程度であれば ( そうでなければもう少し待ってみて再度繰り返す ), ボールに入っている量の4 分の1 の量をフライパンに流し込む. レシピ < だし巻き卵 > 第 7 版 6. 卵を料理箸につけてフライパンにポンと振って落とし, 卵を落とした瞬間に固まる程度であれば ( そうでなければもう少し待ってみて再度繰り返す ), ボールに入っている量の4 分の1 の量をフライパンに流し込む. 全体に行き渡すようにフライパンを振る. 7. 全体に卵が行き渡ったら, 卵から空気泡 ( 焼けてきたところ, 大きい空気の固まりが出る ) が出てくるまで箸などでひっくり返さずにじっと待つ. 空気泡が全体から出始めたら, 奥から3 分の1 の付近を目安に, 箸で剥がしながら奥から手前にひっくり返す. この操作を2 度繰り返す. もし空気泡が出なければ火が弱いのですこしだけ火を強くする. 一見焦げが多いように見えるが厚さがあり柔らかく美味しい 19

20 バーチャル世界で作業 XX がしたかったら作業 XX の手がかりとなる現象を再現し感覚を提示したい何を手がかりとしているかは作業の上級者も意識していないこれを取り出しながらバーチャル世界を作ることが必要になる様々な作業が可能なバーチャル世界のためのモデリングはなかなか大変だが取り組みがいのある仕事作業を知る実世界を知る人を知ることに繋がる分子レベルでシミュレーションすれば良いかもしれないが食材や調理器具の分子の並びを作る必要がある ( なんとかなるかもしれない ) 規模が大きすぎる : 原子数 < 10 9 数ナノ秒にスパコン数日 ( アボガドロ数は ) メモリの物理的な大きさはおそらく実物より大きくなる 20

21 シミュレーション

22 シミュレーションの役割例えば物の動きを軌跡でモデリングしたなら初速度に応じて何種類も軌跡を用意しなければならない数式を使うと pp = vv 0 tt, ggtt2 2 のようにまとめられる微分方程式を使えば mpp = ff + mmgg のように任意の力 ffの場合の動きが質量 mmだけでモデリングできる 22

23 運動方程式の使い方解析解運動方程式フックの法則 mmaa = ff ff = kkkk k m mmaa = kkkk 調和振動 xx = Acosωωωω + Bsinωωωω (ωω kk mm ) 変化に対応できない ff = kkkk + ff cc (tt) xx =??? 23

24 数値シミュレーション微分方程式を差分の式にする mmaa = kkkk mm vv tt + Δtt vv tt = kkkkkkkk vv tt + ΔΔΔΔ = vv tt kk mm xxxxxx xx tt + ΔΔΔΔ = xx tt + vv(tt)δδδδ 繰り返し適用して少しずつ先の時刻の速度と位置を計算していく vv 0 = 0 vv 0.1 = = 0.1 vv 0.2 = = 0.2 : xx 0 = 1 xx 0.1 = = 1 xx(0.2) = = 0.99 : 24

25 数値シミュレーション外力の変化に対応できる mmaa = kkkk + ff cc (tt) mm vv tt + Δtt vv tt = ( kkkk + ff cc tt )ΔΔΔΔ vv tt + ΔΔΔΔ = vv tt + ( kk mm xx + ff cc tt )ΔΔΔΔ vv(0) = 0 vv 0.1 = = 0.1 vv 0.2 = ( 1 + ff cc (0.2)) 0.1 ff cc (tt) xx tt + ΔΔΔΔ = xx tt + vv(tt)δδδδ xx 0 = 1 xx 0.1 = = 1 xx(0.2) = = 0.99 機構の変化には対応できないシミュレーションの式の立て直しが必要 25

26 数値シミュレーションと物理エンジン普通の物理シミュレーション mmmm + II θθ = mmmmmmmmmmmm 運動方程式を人が立てる物理エンジン人は機構の情報 ( 関節位置慣性形 ) を与える自動で運動方程式を立てながらシミュレーションする θ θ ff cc mmvv = ff cc + mmgg IIωω = rr cc ff cc ニュートンオイラーの剛体の運動方程式 + 拘束力 ff cc を用いる運動方程式は同一なので自動化が簡単接触などにより機構がシミュレーション中に変わっても大丈夫 26

27 物理エンジンの計算の流れ 1. 接触を見つけ拘束を更新 2. 拘束力を求める 3. 位置速度を更新する運動方程式 ( シミュレーションの式 ) MMxx = FF 外力 + FF 拘束 vv tt + Δtt = vv tt + 機構の設定 ( 物体のつながり方 ) 拘束条件 2. 連立拘束力の値 3. 位置速度の更新 1. 接触判定 27

28 物理エンジン Springhead のデモ我々が開発している物理エンジン Springhead のサンプルプログラムソース : 物理エンジンの中身の解説の物理エンジンサミット.pdf 28

29 物理エンジンによるバーチャル世界積み木については大抵の操作が可のこぎりで切るなどには対応していません 29

30 柔軟物や流体のシミュレーション一つの物体中に多数の代表点を考え代表点の運動をシミュレーション 30

31 力覚 + 物理シミュレーション + カブトムシただ前に歩くだけのカブトムシだがこの世界の主人公になった動物の存在感に驚いた 31

32 バーチャルヒューマン

33 バーチャル世界で生き物や人とふれあいたい現実世界から連れてくる方が簡単例 :VRChat, cluster.mu など多人数が一つのバーチャル空間に入りコミュニケーションなどの活動をする理想のバーチャル世界を作るにはバーチャルな生き物や人も欲しいバーチャル人間人間のような知能人間のように会話できるエージェント ELIZA[J. Weizenbaum, 1966] チャットができるエージェント ( 人工無脳 ) 人の知能は言語能力だけではない特にバーチャルリアリティでは身体を使ったコミュニケーションも大切 33

34 人の動きが持つ情報 Biological Motion[G. Johansson,1973] 関節に小さな光るマーカーを付け暗闇で撮影数個の光の点の動きで行動がわかる歩行動作から性別や気分などがわかるバーチャル人間やバーチャル動物の動きからも人は多くの意味を感じ取る Queen s University Bio Motion Lab 34

35 キャラクタモーションのモデリングゲームなどのキャラクタモーションの作り方予め運動を作っておきタイミングに合わせて再生する記録再生役者の演技をモーションキャプチャする人が作るキーフレームアニメーション人の動きに応じたキャラクタの反応動作を作ることが難しい動作が限られてしまうシミュレーションによる動作生成人の動きに合わせてその場で動作を作ることができる物理法則にあたる法則がはっきりしない 35

36 モーションキャプチャ 36

37 37

38 キーフレームアニメーション 38

39 39

40 Kobito の動きの作り方リアルタイム剛体シミュレーション多次元キーフレームアニメーション傾き傾き移動距離移動距離倒立振子モデルに基づく制御傾き q 質量 M 長さ l 力 F 押す走る歩く行動の種類 40

41 剛体モデルの制御運動量角運動量を力を用いて制御角運動量 :L 0 運動量 :p mv (v: 歩行速度 ) 制御可能な力 : 床との摩擦力 f( f <f max ) 倒立振子の制御足で歩く人動物の最も単純なモデル状態フィードバック制御で実現 N g mv f 41

42 多次元キーフレームアニメーション作りこまれたポーズの集合体剛体の運動状態 ( 姿勢移動量速度等 ) に依存キャラクタの行動の種類 ( 歩く走る押すなど ) に依存多次元キーフレームアニメーション多次元空間にキーフレームを配置剛体の状態に応じて多次元座標を決定周囲のキーフレームを補間傾き押す走る歩く行動種別移動距離 42

43 多次元キーフレームの作成法複数の一次元 (= 従来の ) キーフレームアニメーションで構成 1 各次元軸に沿ったアニメーションを作成 2 1. で作成したキーフレームを起点にさらにキーフレームを追加 3 実際に動作させ, キーフレームの追加調整キーフレームアニメーションの作成は従来スキルツールで可能傾き 2 1 移動距離 43

44 結果 44

45 シミュレーションと制御だけによる動作生成何をシミュレーションするか? 選択的注意一つの対象に感覚注意を向ける仕組み人間を含む動物の外界の捉え方感覚選択的注意選ばれた感覚情報 ( 位置等 ) 運動関心対象動機 ( 目的 ) 行動決定 45

46 シミュレーションによる動作生成触覚モデル視覚モデル物理エンジン触覚的注意 F 視覚的注意 v F v v トップダウン注意行動決定ルール Max 到達目標決定運動制御注意対象注意対象を注視する注意対象に触れる体の運動目標到達位置視線方向 Jv = ω ω = J # v 46

47 47

48 48

49 注意を惹き人を呼び込むエージェント 49

50 注意を惹き人を呼び込むエージェント 50

51 会話の聞き手の動作生成 ( 学習 ) 3 人中一人が聞き手聞き手の動作の法則は分かっていない人間の会話を計測し学習モデルを作る学習 ( 教師あり学習 ) モデル入力 ( 話し手 2 人の動作 ) と出力 ( 聞き手の動作 ) のペアをたくさん与える入力を与えるとありそうな出力を推測してくれる人間の会話を計測データ学習モデル (HMM) (U1=, U2=, A= ) 分析 (U1=, U2=, A= ) (U1=, U2=, A= ) 学習 U1= U2= A= U1= U2= A= U1= U2= A= 51

52 会話の聞き手の動作生成 ( 生成 ) 話者 2 名の声の有無視線学習モデル (HMM) 聞き手の動作再現できたこと話者を見る話題の中心になっている物を見る単純なルールより自然なタイミング頻度を実現 52

53 学習モデルとシミュレーション学習を使ったモデリングは学習データにないパターンには対応できない人が今までにない変わった動作をした場合には反応動作が破綻する上手く動いているときはデータを反映したリアルな動作が実現シミュレーションによる方法は法則に従う法則に人の動作の機微を詰め込むのは難しく動作のリアリティは低い法則が成り立つ範囲ならば破綻しない両方の良いとこ取りをすることも一つの課題 53

54 まとめバーチャルリアリティのデモは魅力的だが実は想定内の行動しかとることができない対象とする行動作業に合わせてバーチャル世界に情報を与えその情報を人に伝えるインタフェースを用意する必要があるバーチャル世界でできることを増やすとバーチャルリアリティの応用が広がるただしなんでもできるは煩雑になるので実用化には大事なものだけに限ることも大切モデリング作業に必要な情報をモデリングしたいそのためには作業の分析も必要シミュレーションシミュレーションによりモデリングが効率化する物理法則があってよかったバーチャルヒューマン人工知能を作ることにバーチャルリアリティでは動きも重要ここでもシミュレーションがモデリングを効率化する可能性が高い動きには多くの情報が含まれている法則が分からないので学習モデルも有効 54

- (20 ) 400 () 3DCG No.51 No.61 No.62 No.11 P 2 16

- (20 ) 226-8503 1974 6 10 29 4259 Tel:045-924-5050 Fax:045-924-5016 E-mail:[email protected] Tel: Fax: E-mail: Tel:03-3786-5650 Tel:090-6036-8520 P 1 16 - (20 ) 400 () 3DCG No.51 No.61 No.62 No.11