ChoreonoidとOpenHRIを用いたシステム構築事例

Size: px

Start display at page:

Download "ChoreonoidとOpenHRIを用いたシステム構築事例"

ようじろういちぬの
4 years ago
Views:

1 Choreonoid と OpenHRI を用いたシステム構築事例産業技術総合研究所原功

2 Choreonoid

3 Choreonoid オープンソースのロボット用統合 GUI ソフトウェア動作振り付けソフトウェアとしてキーフレームベースの動作生成 CG の動作生成のような UI 動力学シミュレータとして OpenHRP3, ODE, Bullet Physics Engne など利用可開発フレームワークとしてロボットの幾何学運動学動力学や動作計算に関する各種モデル計算ロボットの状態や動作データを可視化入力編集する各種 GUI 3DCG によるロボットモデルのレンダリング各種データの統合的な管理とファイル処理実機ロボットとの接続

4 Chreonoid を自分のロボットで利用する Chreonoid を利用するに必要なもの対象となるロボットのモデルロボットのパーツのVRMLモデル各パーツの重心位置と慣性モーメントマトリックス IK 計算用プログラムモジュール独自開発 OpenRAVE 提供の ikfast を利用するロボット制御ソフトへ命令を与えるためのプラグイン

Choreonoid の基本的な操作表示位置を自由に入れ替え可能メニューバー本メニューバーに格納されているメニューを用いることで Choreonoid の各種操作を行うことが出来ますメニュー項目はプラグインによって追加することも可能ですツールバーツールバー領域にはボタンやスライダ数値入力ボックス等の GUI 部品で構成されるツールバーが配置されます

5 Choreonoid の基本的な操作表示位置を自由に入れ替え可能メニューバー本メニューバーに格納されているメニューを用いることで Choreonoid の各種操作を行うことが出来ますメニュー項目はプラグインによって追加することも可能ですツールバーツールバー領域にはボタンやスライダ数値入力ボックス等の GUI 部品で構成されるツールバーが配置されますツールバーは機能ごとにグループ化されたものとなっており各ツールバーの左端をマウスでドラッグすることで簡単に好みの場所に移動させることができますビュービューは Choreonoid において各種情報を表示編集するためのウィンドウ領域ですタブ内に格納される各矩形領域がひとつのビューに対応します Choreonoid 本体に備わった基本的なビューとして各種データモデル等 ( アイテム ) を管理するアイテムビュー各アイテムのプロパティを表示編集するためのプロパティビュー 3D 表示にてモデルの確認や編集を行うためのシーンビューテキストメッセージが出力されるメッセージビューなどがあります

6 Choreonoid の基本的な操作スライダーで時刻を操作左ボタン操作モード等を選択中ボタンロボットの関節を操作アイテム選択を忘れずに! マウスで視点を操作 ZMPの表示 Baseリンクの表示マウスで視点を操作マウスでロボットの関節を操作スライダーで関節を細かく操作中ボタン ( スクロール ) PoseRoll ビューで動作列を操作

7 キーポーズの変更と追加キーポーズの選択キーポーズを更新 1. 動作の末尾に移動 1. キーポーズを生成 2. キーポーズの挿入時刻を指定 2. キーポースを挿入 3. 動作時間を調整動作パターンの編集はキーポーズの追加と変更の繰り返し

8 Choreonoid におけるロボットの動作表現 Choreonoid ではロボットの動きをキーポーズの連続として表現するキーポーズは動作中の状態が変化するポイントの姿勢無理な姿勢のキーポーズは身体バランス補正を行い安定動作を生成するロボットへは制御時間ごとの目標姿勢に変換して命令列を与えて実行させる

9 OpenHRI コミュニケーション知能モジュール群

10 OpenHRI とは OpenHRI は音声認識音声合成対話制御などロボットのコミュニケーション機能の実現に必要な各要素を実現するコンポーネント群フリーで利用できる各オープンソースソフトウェアを使い易いコンポーネントとしてまとめたもの知能化 PJ において開発され EPL-1.0 にて公開

11 OpenHRI で提供する機能ロボットのコミュニケーション機能の実現に必要な各要素 ( 音声入出力音声認識音声合成対話制御など )

12 OpenHRI で提供する機能シングルマイク or Bluetooth 音声入力 Julius ベース音声認識対話コンテンツ管理対話履歴管理画像入力 SEAT/SAT を改良対話制御音声合成音声出力個人同定音声合成に統合? 物体認識等必須オプション OpenJTalk を使ってロボット制御等

13 話す機能音声合成コンポーネントはフリーで利用できる音声合成エンジン (OpenJTalk Festival) を利用テキストを入力とし音声データ (Mono,16kHz, 16bit) を出力参考システム構成

14 聴く機能オープンソースの高性能な汎用大語彙連続音声認識エンジン Julius を使った音声認識機能受け取った音声データ (16bits, 16KHz) を音声認識して認識テキストに変換する音声認識は予め用意された音声認識文法ファイルに従って実行される

15 対話を制御する機能 SEAT(Speech Event Action Transfer) ロボットとの対話を実現するための小さく軽量な対話エンジンロボットの対話動作は音声認識結果 ( 条件 ) とシステムの動作 ( アクション ) のペアを基本として対話動作を記述状態遷移モデルに基づく対話管理 XML ベースの SEATML により対話スクリプトを記述

16 OpenHRI を使ったシステム例ロボットに音声インタフェースをつける音声入力ロボット制御音声認識ロボットシミュレータ対話エンジン

17 対話型システムの例音声認識でパワポムービーを制御 JuliusRTC SEAT パワポサーバームービーサーバー

18 対話型システムの例人型ロボットをジェスチャで制御 Kinect コンポーネント群簡易ジェスチャ認識 2 つの操作モードダイレクト操作モードジェスチャコマンドモード

19 SEAT から eseat へ eseat 音声対話の対話制御から汎用の状態遷移コンポーネントへの拡張 OpenRTM-aist で取り扱う標準拡張データ型への対応独自データ型への対応簡易 GUI パネルの作成機能 Python スクリプトにより様々な制御機能外部 Python スクリプトで機能拡張外部コマンド実行機能

20 SEATML eseat の内部状態イベント処理 GUI 等の設定する XML で記述基本的に SEAT で使っていたものも動作する <?xml version="1.0" encoding="utf-8"?> <seatml> <general> - データポートの定義 - preload scripts </general> <state name="st1"> - rule の定義 - GUI 部品の定義 </state> <state name="st2"> </state> </seatml>

21 データポート作成機能 SEATML の最初の general 要素内で設定 adaptor 要素で OpenRTM-aist のデータポートまたは TCP Socket を生成独自データ型のデータポート生成時には script 要素を使ってクラスをインポート Script 要素内は Python スクリプトになるのでインデントに注意 <general name="leapmotion"> <script>import ssr</script> <adaptor name="gesture_out" type="rtcout" datatype="timedstring" /> <adaptor name="hands_out" type="rtcout" datatype="timedfloatseq" /> <adaptor name="frame" type="rtcin" datatype="ssr.frame" /> </general> 独自データ型のときには namespace を確認

22 簡易 GUI 作成機能システム開発中に使うテスト用 GUIの作成内部状態を持ちパネルレイアウトを自動変更 label 要素 : tk.labelを生成 button 要素 : tk.buttonを生成 input 要素 :tk.entryを生成 text 要素 :tk.textを生成 GUI アイテムの配置は grid に固定

23 イベント処理 eseat では adaptor 要素で設定したポートからデータを受信時内部状態遷移時または GUI アイテムを押下等を行った時にイベント処理が実行されるイベント処理は主として rule 要素で設定する GUI アイテムである button 要素 input 要素 text 要素に対するイベント処理はコンポーネントが有効化されていなくても実行される内部状態遷移時のイベント処理は onentry 要素 onexit 要素で設定イベント処理用コマンド message 要素 : sendto 属性値の adapto へ text データを出力 script 要素 :text を Python スクリプトとして実行 sendto 属性値を設定の場合には rtc_resul に代入されたデータを送信 shell 要素 :text を shell に渡してコマンドを実行 subprocess.popen 関数で実装されている statetransition 要素 : eseta 内部状態を遷移させる

24 eseat に関するその他の情報 eseat を使ったサンプル単純な文字列入出力パネル電卓アプリ rtc_handleを使ったrtc 操作パネル Choreonid-1.4でPA10の位置制御パネル LeapRTCのデータ閲覧パネル LeapRTCとChoreonoidでGR-001を動かす eseat の詳細については

25 Choreonoid 内の PA10 の操作パネル Choreonoid のサンプル PA10Pickup を参考に目標位置姿勢入力可能なプラグインを作成上記プライグインに対応した操作パネルの作成 Choreonoid

Choreonoid 内の PA10 の操作パネル http://hara.jpn.

26 Choreonoid 内の PA10 の操作パネル

27 LeapRTC との連携 GUI SSR 菅さんの作成した LeapRTC のデータ表示パネル

28 Choreonoid+LeapRTC+GR001 LeapRTC を使って GR-001 の操作する以前開発した RobotMotionRtcPluhgin と連携 GR-001 への動作は Choreonoid を介して行う

29 Choreonoid+LeapRTC+GR001

200_CAD（画面回りの機能）の基本操作

200_CAD（画面回りの機能）の基本操作 CAD( 画面回りの機能 ) の基本操作 CAD の画面回りの機能を解説しています解説内容がオプションプログラムの説明である場合がありますご了承ください画面の構成 [CAD] の画面構成を確認しましょうメッセージバー次の操作をナビゲートするメッセージが表示されます左のバーは現在のメモリー使用量を表示しています ( 安全に作業する為の目安としてください ) メニューバーすべてのコマンドが配置されています