2013 年 9 月 9 日データ収集技術講演会, 広島工業大学 ロボットミドルウエア標準 RT ミドルウエア ( 独 ) 産業技術総合研究所知能システム研究部門安藤慶昭 1
つくば研究学園都市 KEK 筑波大 東京 ( 秋葉原 ) から45 分 1970 年代から開発 20 以上の国の研究機関 大学 企業等の研究所 20000 人以上の研究者 博士 7000 人以上 つくば駅 JAXA 産総研 2
産総研 独立行政法人産業技術総合研究所 ライフサイエンス 情報 通信 環境 エネルギー ナノテク 材料 製造 地質 海洋 標準 計測 の 6 分野 研究者 : 約 2000 名 知能システム研究部門 統合知能 タスクビジョン ヒューマノイド ディペンダブルシステム サービスロボティクス フォールドロボティクス スマートコミュニケーション 社会知能 の 8 グループ AIST-CNRS ロボット工学連携研究体 ソフトウエアプラットフォーム研究班 研究者 : 約 80 名 3
概要 RTミドルウエアとは プロジェクト 標準化 RTミドルウエアの展開 まとめ 4
RT ミドルウエアとは 5
RT とは? RT = Robot Technology cf. IT Real-time 単体のロボットだけでなく さまざまなロボット技術に基づく機能要素をも含む ( センサ アクチュエータ, 制御スキーム アルゴリズム etc.) 産総研版 RT ミドルウエア OpenRTM-aist + + + + + RT-Middleware (RTM) RT 要素のインテグレーションのためのミドルウエア RT-Component (RTC) RT-Middleware におけるソフトウエアの基本単位 RT-Middleware 6
RT ミドルウエアの目的 モジュール化による問題解決 仕様の明確化 最新技術を容易に利用可能 誰でもロボットが作れる コストの問題技術の問題ニーズの問題 A 社製移動ベース B 社製アーム C 社製センサ 最新の理論 アルゴリズム 多様なユーザ!!!! RT コンポーネント化 仕様 モジュール化 再利用 ロボットの低コスト化 システム開発者 最新技術を利用可能 カスタマイズが容易に 多様なニーズに対応 ロボットシステムインテグレーションによるイノベーション 7
RT ミドルウエアと RT コンポーネント ロジック デバイス制御 制御アルゴリズム アプリケーション etc RT コンポーネントフレームワーク RT コンポーネント ロジックを箱 ( フレームワーク ) に入れたもの =RT コンポーネント (RTC) RTC RTC RTC RTC RTC RTC RTC RTC RT ミドルウエア RTC の実行環境 (OS のようなもの )=RT ミドルウエア (RTM) RTC はネットワーク上に分散可能 8
RT コンポーネントの主な機能 アクティビティ 実行コンテキスト共通の状態遷移複合実行 Inactive Active Error センサ RTC 制御 RTC アクチュエータ RTC ライフサイクルの管理 コアロジックの実行 データポート データ指向ポート 連続的なデータの送受信 動的な接続 切断 目標値 エンコーダコンポーネント 位置 位置 - 1 TI s TDs Kp 制御器コンポーネント + 電圧 データ指向通信機能 サーボの例 アクチュエータコンポーネント サービスポート 定義可能なインターフェースを持つ 内部の詳細な機能にアクセス パラメータ取得 設定 ステレオビジョンの例 モード切替 サービスポート etc ステレオビジョンインターフェース モード設定関数 座標系設定関数 キャリブレーション etc 画像データ ステレオビジョンコンポーネント サービス指向相互作用機能 3D デプスデータ データポート コンフィギュレーション パラメータを保持する仕組み いくつかのセットを保持可能 実行時に動的に変更可能 セット名 セット名 名前値 名前値 複数のセットを動作時に切り替えて使用可能 9
RTC コアロジックの実行 実行コンテキスト (ExecutionContext) = 実行主体 スレッド RT コンポーネント 実行コンテキスト : 動的に関連付けられる RT ミドルウエア 実行コンテキスト B 標準コンテキスト 実行コンテキスト A RT コンポーネント RT コンポーネント モジュールの動的ロード コンテキストをアタッチ コンテキストをアタッチ 異なる実行コンテキストを関連付けることにより動作形態を動的に変更できる 10
外部トリガ実行コンテキスト 外部トリガ実行コンテキスト インターフェースを拡張 tick() オペレーションをコール ロジックが1tick 分だけ進む ロジックの実行タイミングを外部から制御 シミュレータ デバッガなどに利用可能 シミュレータ時間 シミュレータでは 関連する全コンポーネントの実行タイミングを制御する必要がある tick! tick! 外部トリガ実行コンテキスト 拡張インターフェース 同一のコンポーネントを実機 シミュレータ両方で利用可能 11
データポート データ指向 (Data Centric) なストリームポート 型 :long, double 6, etc ユーザが任意に定義可能 出力 :OutPort 入力 :InPort 接続制御 ( 接続時に選択可能 ) Interface type CORBA,TCP socket, other protocol, etc Data flow type push/pull Subscription type Flush, New, Periodic Activity Notify inport.put(data) put(data) operation (a) new type subscription Raw TCP Socket (a) Push (publisher/subscriber) communication model Activity Publisher asynchronous Activity buffer Timer buffer Publisher synchronous CORBA I/F Original Protocol put(data) outport.get() operation Connected by original protocol (b) periodic type subscription Data transfer through Original Protocol (b) Pull put(data) communication model (c) flush type subscription 12
InPort InPort のテンプレート第 2 引数 : バッファ ユーザ定義のバッファが利用可能 InPort のメソッド read(): InPort バッファからバインドされた変数へ最新値を読み込む >> : ある変数へ最新値を読み込む 基本的に OutPort と対になる InPort read() operator>> 最新値バインドされた変数リングバッファ 例 データポートの型を同じにする必要あり Sensor Data Robot Component
OutPort OutPort のテンプレート第 2 引数 : バッファ ユーザ定義のバッファが利用可能 OutPort のメソッド write(): OutPort バッファへバインドされた変数の最新値として書き込む >> : ある変数の内容を最新値としてリングバッファに書き込む 基本的に InPort と対になる OutPort write() operator<< 最新値バインドされた変数リングバッファ 例 データポートの型を同じにする必要あり Sensor Component Sensor Data
開発環境 RTCBuilder (GUI 版 ) rtc-template (CUI) RT コンポーネントのコードジェネレータ GUI 画面で必要事項を入力 C++, Python, Java, C# 等のコードを自動生成 RTSystemEditor ネットワーク上のすべてのコンポーネントの操作が可能 コンポーネントの ON/OFF パラメータの変更 状態監視 コンポーネント間の接続 RTCBuilder RTSystemEditor RTC RTM 統合開発環境の整備 RTC 設計 実装 デバッグ RTM によるインテグレーション デバッグまでを一貫して行うことができる統合開発環境を Eclipse 上に構築
OpenRTM を使った開発の流れ コンポーネントの仕様 RtcTemplate (RTCBuilder) どのようなコンポーネントか? 名前 データポート サービスポート コンフィギュレーション コードの雛型 (C++ のクラス ) コアロジック RTC 開発者が開発したプログラム資産 マネージャ ( ミドルウエア ) コード生成.so or DLL 実行 コンパイル 雛型にコアロジックを埋め込む
RTC の分割と連携 ロボット体内のコンポーネントによる構成例 画像データ ポート カメラコンポーネント 顔位置問合せ 顔認識コンポーネント データ コマンドの流れ カメラコンポーネント 画像データ ステレオビジョンコンポーネント カメラコントロール 人物データ表情データ ジェスチャ軌道データ 頭 腕駆動コンポーネント 音声データ 音声認識コンポーネント 文字データ 対話コンポーネント 文字データ 音声合成コンポーネント マイクコンポーネント ( モジュール ) 情報の隠蔽と公開のルールが重要
RT ミドルウエアによる分散システム RTM により ネットワーク上に分散する RTC を OS 言語の壁を越えて接続することができる ネットワーク ロボット A RTC RTC RTM Solaris ロボット B RTC RTC RTM FreeBSD ロボット C RTC RTC RTC RTM ARTLinux Linux Windows TRON RTM RTM RTM RTC RTC RTC RTC RTC RTC アプリケーション操作デバイスセンサ RTC 同士の接続は プログラム実行中に動的に行うことが出来る
RTUnit(2003 年 ~) /RTC-Lite(2005 年 ~) ネットワーク型マイコン機器 small/μrtunit を RTM で統合 RTUnit 仕様 MPU ROM RAM EEPROM クロック A/D DIO シリアル通信電源 Microchip PIC16F877A 8kwords 368 bytes 256 bytes max 20MHz 10bit 8ch 24ch 2ch LANTRONIX XPort DC 5V μrtunit small RTUnit 19
モデルに基づくコード生成 フル規格 RTC から C++ backend コンポーネント仕様 name: category: description: comp_type: act_type: InPorts: OutPorts: MyComp temp.sensor device temp. sensor RTC STATIC PERIODIC PC mode:timedbool temp: TimedDouble Template code generator Java backend Proxy Component Python backend RTC-Lite protocol 同一のRTC 仕様からは言語が異なっていても 同じ ( コンポーネントモデルの )RTCが生成される フル規格 RTC へ RTC-Lite backend RTC source for C++ RTC source for Java RTC-Lite RTC source for Python RTC-Lite source for PIC C RTC-Lite proxy code class MyComp : public DataflowComponent { public: virutal onexecute(ec_id); : private: TimedBool m_mode; TimedDouble m_temp; }; import RTC.DataFlowComponent; public class MyCompImpl extends DataFlowComponent { public ConsoleInImpl(mgr) { } : }; #/usr/bin/env python import RTC class MyComp( DataFlowComponent): def init (self, manager): : I/O Small RT-Unit def onexecute(self, ec_id): : #include <16f877a.h> #include "rtc_base.c int main (void) { rtc_connect_proxy(); rtc_mainloop(); return 0; } #/usr/bin/env python import RTC class Proxy( DataFlowComponent): def init (self, manager): : def onexecute(self, ec_id): : 20
PiRT-Unit PiRT-Unit 諸元 AD コンバータ DA コンバータ 10bit, 4ch, 200S/s 12bit, 2ch PWR シリアルポート RS232C DSUB 9pin PWM 出力 RS232C XBee 電源入力 1ch, RC サーボモータ用 D-SUB 9pin コネクタ Xbee とジャンパにて切り替え Xbee モジュール接続コネクタ 5V DC 入力 RaspberryPi へ電源供給可能 RaspberryPi からの電源供給でも動作 ( 例 : 秋月のアダプタ ) 普通の Linux から普通に触れる入出力ボード クロスコンパイル不要 マシン語 アセンブリ言語不要手軽にセンサ アクチュエータ等を試せる環境 SDA SCL 3.3V GND In 5V GND In 5V GND In 5V GND In 5V GND AD 4ch I2C I2C AD0 AD1 AD2 AD3 PiRT-Unit DA0 DA1 DA 2ch PWM Zigbee XBee モジュール PWM 21
PiRT-Unit 特長 Xbeeを利用可能 手軽に無線利用 Phidget センサを利用可能 様々なセンサを手軽に利用可能 チュートリアルとセットアップスクリプト 環境構築を支援するプログラムを提供 http://openrtm.org In 5V GND Phidgetセンサユニット PiRT-Unit ADCコネクタ AD 22
RTM 講習会での利用 ROBOMEC2013(5 月 22 日 ) それぞれにネームサーバを立てる localhost( デフォルト ) に登録 localhost( デフォルト ) に登録 NS vel targetvelocity NS Ministick Sensor Ministick と Kobuki を接続 RaspberryPi + PiRT-Unit PC Raspberry Pi + Kobuki RTSystemEditor に両方のネームサーバを登録
プロジェクト 標準化 24
RT-Middleware 関連プロジェクト RTM0.1 リリース OpenRTM-aist 0.2.0 リリース from 2002~ OpenRTM-aist 0.4.0 リリース OpenRTM-aist 1.0 リリース OMG RTC spec. draft OMG RTC spec. approved OMG RTC 標準仕様リリース FY 2002 2003 2004 2005 2006 2007 2008 2009 2010 2011 RT ミドルウエアプロジェクト 科研費若手 (B) 科振費分散コンポーネントシミュレータ NEDO 次世代ロボット共通基盤開発 ロボット大賞 2007 工業標準部標準基盤研究 科振費環境と作業構造のユニバーサルデザイン さまざまなプロジェクトで標準ソフトウエアプラットフォームとして採用されている 産総研イニシアチブ UCROA NEDO 戦略的先端ロボット要素技術開発 経済産業省 NEDO 次世代ロボット知能化技術開発プロジェクト
名称 :NEDO 21 世紀ロボットチャレンジプログラム ロボット機能発現のために必要な要素技術開発 目的 : RT 要素の部品化 ( モジュール化 ) の研究開発 分散オブジェクト指向開発 RT 要素の分類 モジュール化に必要な機能 インタフェース仕様の明確化 予算規模 : 65 百万円 全体 267.3 百万円 RT ミドルウエア PJ FY2002.12-FY2004 26
NEDO 基盤 PJ FY2003-FY2007 その他のロボット開発ツールプラグイン 名称 : 運動制御デバイスおよびモジュールの開発 目的 : 運動制御デバイスの開発 デバイスに搭載するRTCの開発 その他モーションコントロールに資するRTM/RTCの開発 予算規模 : 15 百万円 / 年 371 百万円 全体 1,259 百万円 Java 開発環境プラグイン C++ 開発環境プラグイン Eclipse Paltform JavaVM RtcLink プラグイン ツールの Eclipse プラグイン化 追加 拡張 RTC-CAN の開発 dspic 版 RTC-Lite の開発 27
名称 : 次世代ロボット知能化技術開発プロジェクト 目的 ソフトウエアプラットフォームの開発 作業知能 移動知能 コミュニケーション知能に関するモジュールの開発 予算 : 400 百万円 全体 7,000 百万円 研究グループ 15 グループ 知能化 PJ FY2007-FY2012 28
NEDO RT コンポーネント集 www.openrtm.org に NEDO 知能化 PJ 成果物の特別ページを設置 ツール 作業知能モジュール 移動知能モジュール 対話知能モジュール 商用ライセンスモジュールの5カテゴリに分けて掲載
NEDO オープンイノベーションプロジェクト RT ミドルウエアを基盤として 多数の福祉機器同士を連携 30
なぜ標準が必要? RTミドルウエアの目的 人々の間で共有される共通ソフトウエアモデル オープンな仕様を提供 誰でも実装可能 実装の多様性 仕様を策定することが主たる目的 実装 (OpenRTM-aist): 仕様の妥当性検証 実装技術に非依存なソフトウエアモデル 特定の言語 OS 分散オブジェクトミドルウエアに依存しないモデル (PIM: Platform Independent Model) 標準化された仕様 OMG (Object Management Group) における標準化 オープンな標準化プロセス 31
OMG RTC 標準化 2005 年 9 月 RFP: Robot Technology Components (RTCs) 公開 2006 年 2 月 Initial Response : PIM and PSM for RTComponent を執筆し提出提案者 :AIST( 日 ) RTI( 米 ) 2006 年 4 月両者の提案を統合した仕様を提案 2006 年 9 月 AB にて承認 事実上の国際標準獲得 FTF が組織され最終文書化開始 2007 年 8 月 FTF の最後の投票が終了 2007 年 9 月 AB にて FTF の結果を報告 承認 2008 年 4 月 OMG RTC 標準仕様 ver.1.0 公式リリース 2010 年 1 月 OpenRTM-aist-1.0 リリース 2012 年 9 月 ver. 1.1 改定 32
OMG RTC ファミリ 名称ベンダ特徴互換性 OpenRTM-aist AIST C++, Python, Java --- OpenRTM.NET SEC.NET(C#,VB,C++/CLI, F#, etc..) RTM on Android SEC Android 版 RT ミドルウエア H-RTM ( 仮称 ) 本田 R&D OpenRTM-aist 互換 FSM 型コンポーネントをサポート RTC-Lite AIST PIC, dspic 上の実装〇 ( ブリッジ ) minirtc, micrortc SEC CAN ZigBee 等を利用した組込用 RTC 実装〇 ( ブリッジ ) RTMSafety SEC/AIST 機能安全認証 (IEC61508) capable な RTM 実装, 商用〇 ( ブリッジ ) RTC CANOpen SIT, CiA CANOpen-RTC マッピングを定めた CiA 標準〇 ( ブリッジ ) PALRO 富士ソフト小型ヒューマノイドのための C++ PSM 実装 OPRoS ETRI 韓国国家プロジェクトでの実装 GostaiRTC GOSTAI, THALES ロボット言語上で動作する C++ PSM 実装 同一標準仕様に基づく多様な実装により 実装 ( 製品 ) の継続性を保証 実装間での相互利用がより容易に 33
OMG 標準と OpenRTM-aist PIM PSM 標準化作業 <<PIM>> RTC Specification <<mapping>> <<PSM>> RTC CORBA PSM <<use>> <<PSM>> RTC CCM PSM <<PSM>> RTC Local PSM 他のプラットフォームにおけるモデル <<PIM>> SDO Specification 拡張仕様の追加 <<interface>> OpenRTM-aist Ext. interface <<type>> OpenRTM-aist Basic types 実際に使用するにはインターフェースや仕様の追加が必要 実装 OpenRTM-aist <<implements>> Other RTM AIST による実装 他のベンダによる実装
RT ミドルウエアの展開 35
Success stories DAQ-Middleware: KEK/J-PARC KEK: High Energy Accelerator Research Organization J-PARC: Japan Proton Accelerator Research Complex HRP-4: Kawada/AIST TAIZOU: General Robotics Inc. HIRO: Kawada/GRX HRP-4C: Kawada/AIST 36
RT ミドルウエアの広がり ダウンロード数 2012 年 2 月現在 2008 年 2009 年 2010 年 2011 年 2012 年 合計 C++ 4978 9136 12049 1851 253 28267 Python 728 1686 2387 566 55 5422 Java 643 1130 685 384 46 2888 Tool 3993 6306 3491 967 39 14796 All 10342 18258 18612 3768 393 51373 ユーザ数 タイプ Webページユーザ Webページアクセスメーリングリスト講習会利用組織 (Google Map) 登録数 733 人 約 300 visit/day 約 1000 view/day 447 人 のべ 668 人 46 組織 プロジェクト登録数 タイプ 登録数 RTコンポーネント群 287 RTミドルウエア 14 ツール 19 仕様 文書 4 ハードウエア 28 OMG RTC 規格実装 (11 種類 ) Name Vendor Feature OpenRTM-aist AIST C++, Python, Java OpenRTM.NET SEC.NET(C#,VB,C++/CLI, F#, etc..) minirtc, micrortc SEC CAN ZigBee 等を利用した組込用 RTC 実装 Dependable RTM SEC/AIST 機能安全認証 (IEC61508) capable な RTM 実装 RTC CANOpen SIT, CiA CANOpenのためのCiA (Can in automation) に おけるRTC 標準 PALRO 富士ソフト小型ヒューマノイドのための C++ PSM 実装 OPRoS ETRI 韓国国家プロジェクトでの実装 GostaiRTC GOSTAI, THALES ロボット言語上で動作する C++ PSM 実装 H-RTM ホンダ R&D OpenRTM 互換 FSM 実装 37
他のミドルウエア ROS(Robot Operating Systems) ( 米国 ) OROCOS ( 欧州 ) YARP ( 欧州 ) SMARTSOFT ( 欧州 ) RSi(Robot Service Initiative) ( 日本 ) OPRoS(Open Platform for Robotic Services) ( 韓国 ) 38
プロジェクトページ ユーザが自分の作品を登録 他のユーザの作った RTCを探すことができる タイプ 登録数 RT コンポーネント群 287 RT ミドルウエア 14 ツール 19 仕様 文書 4 ハードウエア 28 39
OpenRTMで利用可能なハードウエアのリスト ハードウエアを利用するために利用できるコンポーネントのリスト ハードウエア集 40
サマーキャンプ 毎年夏に1 週間開催 今年 :7 月 29 日 ~8 月 2 日 募集人数 :10 名 場所 : 産総研つくばセンター 座学と実習を1 週間行い 最後にそれぞれが成果を発表 産総研内のさくら館に宿泊しながら夜通し? コーディングを行う! _ / ( д ) < もう寝る! \ ~\ \ \ 41
RT ミドルウエアコンテスト SICE SI ( 計測自動制御学会システムインテグレーション部門講演会 ) のセッションとして開催 エントリー〆切 :9 月ごろ ソフトウエア登録 :10 月ごろ 講演原稿〆切 :10 月ごろ 発表 授賞式 :12 月ごろ 2012 年度実績 応募数 :17 件 計測自動制御学会学会 RTミドルウエア賞 ( 副賞 10 万円 ) 奨励賞 ( 賞品協賛 ):3 件 奨励賞 ( 団体協賛 ):10 件 奨励賞 ( 個人協賛 ):5 件 詳細は Web ページ : openrtm.org コミュニティー イベントをご覧ください 42
まとめ RT ミドルウエア 基本機能 標準化 適用例 過去のプロジェクト 普及活動 :Webページ 講習会 コンテスト 詳しくは 検索 openrtm 本日の資料は openrtm.org に掲載します 43