<4D F736F F F696E74202D CA48B868CF097AC95D78BAD89EF205B8CDD8AB B83685D>

Transcription

1 TSC 研究交流勉強会 14:30~15:30 産総研 臨海副都心センター別館 ( 新館 )11 階 11205~6 ロボット用ミドルウェアと半導体への期待 安藤慶昭 独立行政法人産業技術総合研究所知能システム研究部門 産総研 独立行政法人産業技術総合研究所 ライフサイエンス 情報 通信 環境 エネルギー ナノテク 材料 製造 地質 海洋 標準 計測 の6 分野 研究者 : 約 2000 名 知能システム研究部門 統合知能 タスク ビジョン ヒューマノイド インタラクティブモデリング ディペンダブルシステム サービスロボティクス フィールドロボティクス の7グループ ソフトウエアプラットフォーム研究班 AIST-CNRSロボット工学連携研究体 研究者 : 約 60 名 ( 全体約 150 名 ) 2

2 RT とは? RT = Robot Technology cf. IT Real-timel 単体のロボットだけでなく さまざまなロボット技術に基づく機能要素をも含む ( センサ アクチュエータ, 制御スキーム アルゴリズム etc.) 産総研版 RT ミドルウエア OpenRTM-aist ast RT-Middleware (RTM)) RT 要素のインテグレーションのためのミドルウエア RT-Component (RTC) RT-Middleware におけるソフトウエアの基本単位 RT-Middleware 3 RT ミドルウエアプロジェクト NEDO 21 世紀ロボットチャレンジプログラム ( 年度 ) ロボット機能発現のために必要な要素技術開発 RT 分野のアプリケーション全体に広く共通的に使われる機能およびRT 要素の部品化 ( モジュール化 ) の研究開発 分散オブジェクト指向システムのミドルウェアである CORBA をベースとして行う RT 要素の分類を行い モジュール化の形態 必要な機能 課題 インタフェース仕様などを明確にする 14 年度成果報告書より 4

3 RT ミドルウエアの目的 モジュール化による問題解決 仕様の明確化 最新技術を容易に利用可能 誰でもロボットが作れる コストの問題技術の問題ニーズの問題 A 社製移動ベース B 社製アーム C 社製センサ 最新の理論 アルゴリズム 多様なユーザ 仕様!!!! RT コンポーネント化 モジュール化 再利用 ロボットの低コスト化 システム開発者 最新技術を利用可能 カスタマイズが容易に 多様なニーズに対応 ロボットシステムインテグレーションによるイノベーション 5 概要 RTとは? RT ミドルウエア :OpenRTM-aist 標準化 RT ミドルウエアの現状 RT ミドルウエアと半導体技術 終わりに 6

4 RT-Middleware OpenRTM-aist 7 従来のシステムでは Joystick software Joystick Robot Arm Control software 互換性のあるインターフェース同士は接続可能 Robot Arm 8

5 従来のシステムでは Humanoid s Arm Control software Humanoid s Arm Joystick software Joystick ロボットによって インターフェースは色々互換性が無ければつながらない Robot Arm Control software Robot Arm 9 RT ミドルウエアでは RTミドルウエアは別々に作られたソフトウエアモジュール同士を繋ぐための共通インターフェースを提供する Arm A Control software compatible arm interfaces Humanoid s Arm Joystick software Joystick ソフトウエアの再利用性の向上 RTシステム構築が容易になる Arm B Control software Robot Arm 10

6 ミドルウエア コンポーネント etc ミドルウエア OSとアプリケーション層の中間に位置し 特定の用途に対して利便性 抽象化向上のために種々の機能を提供するソフトウエア 例 :RDBMS ORB 等 定義は結構曖昧 分散オブジェクト ( ミドルウエア ) 分散環境において リモートのオブジェクトに対して透過的アクセスを提供する仕組み 例 :CORBA Java RMI DCOM 等 コンポーネント 再利用可能なソフトウエアの断片 ( 例えばモジュール ) であり 内部の詳細機能にアクセスするための ( シンタクス セマンティクスともにきちんと定義された ) インターフェースセットをもち 外部に対してはそのインターフェースを介してある種の機能を提供するモジュール CBSD(Component Based Software Development) ソフトウエア システムを構築する際の基本構成要素をコンポーネントとして構成するソフトウエア開発手法 11 分散オブジェクトとは? システムの機能分割と分散配置 ネットワーク透過なオブジェクト コンポーネント化と再利用 オブジェクト指向 + ネットワーク 分散オブジェクト プロキシオブジェクト アプリ A アプリ B アプリ C ミドルウエア 代表例 CORBA (Common Object Request Broker Architecture) CCM (CORBA Component Model) JavaRMI (Java Remote Method Invocation) EJB (Enterprise Java Beans) DCOM, HORB etc 計算機 A 計算機 B 計算機 C 計算機 D OS A OS B OS C OS D 12

7 RTM RTC とは? ソフトウエアアーキテクチャの違い RTC アプリ アプリケーション RTC RTC アプリケーション オブジェクト オブジェクト RTM ライブラリ ライブラリ ミドルウエア (CORBA) ミドルウエア (CORBA) OS OS OS 従来ソフトウエアから分散オブジェクトへ オブジェクト指向開発 言語 OSの壁を越えて利用できる インターフェースをIDLで定義 各言語へ自動変換 OS アーキテクチャの違いを吸収 ネットワーク透過に利用できる 分散システムを容易に構築可能 分散オブジェクトから RTC へ インターフェースがきちんと決まっている IDLで定義された標準インターフェース 呼び出しに対する振る舞いが決まっている (OMG RTC 標準仕様 ) 同じ部品として扱える コンポーネントのメタ情報を取得することができる 動的な接続や構成の変更ができる ロボットシステムに特有な機能を提供 後述 13 RT ミドルウエアと RT コンポーネント ロジック デバイス制御 制御アルゴリズム アプリケーション etc RT コンポーネントフレームワーク RT コンポーネント ロジックを箱 ( フレームワーク ) に入れたもの =RT コンポーネント (RTC) RTC RTC RTC RTC RTC RTC RTC RTC RT ミドルウエア RTC の実行環境 (OS のようなもの )=RT ミドルウエア (RTM) RTCはネットワーク上に分散可能 14

8 RTコンポーネントアーキテクチャ メタ情報取得 プロファイル どんなコンポーネントか? アクティビティ ユーザ定義ロジックの実行 データポート Data Centric な相互作用 サービスポート RTCS Consumer request/response 型相互作用 Consumer RTComponent コンフィギュレーションン Proxy ユーザ定義の設定 Activity Consumer サービスポート provide SDO Interfaces RTC Interfaces RTCEx Interfaces Proxy use Service Service RTComponent Service provide Architecture State Machine of RT component InPort 0 Buffer データポート OutPort0 Buffer get InPort n put OutPort n put Buffer Buffer reply InPort get, subscribe reply push OutPort RT コンポーネントの主な機能 アクティビティ 実行コンテキスト共通の状態遷移複合実行 Inactive Active Error センサ RTC 制御 RTC アクチュエータ RTC ライフサイクルの管理 コアロジックの実行 データポート データ指向ポート 連続的なデータの送受信 動的な接続 切断 目標値 位置 位置エンコーダコンポーネント - 1 TI s TDs Kp 制御器コンポーネント + 電圧 データ指向通信機能 サーボの例 アクチュエータコンポーネント サービスポート 定義可能なインターフェースを持つ 内部の詳細な機能にアクセス パラメータ取得 設定ステレオビジョンの例 モード切替サービスポート etc ステレオビジョンインターフェース モード設定関数 座標系設定関数 キャリブレーション etc 画像データ ステレオビジョンコンポーネント サービス指向相互作用機能 3D デプスデータ データポート コンフィギュレーション パラメータを保持する仕組み いくつかのセットを保持可能 実行時に動的に変更可能 セット名 セット名 名前値 名前値 複数のセットを動作時に切り替えて使用可能 16

9 RTC の分割と連携 ロボット体内のコンポーネントによる構成例 カメラコンポーネント 画像データ 顔位置問合せ 顔認識コンポーネント ポートデータ コマンドの流れ カメラコンポーネント 画像データ ステレオビジョンコンポーネント カメラコントロール 人物データ表情データ ジェスチャ軌道データ 頭 腕駆動コンポーネント マイクコンポーネント 音声データ 音声認識コンポーネント 文字データ 対話コンポーネント 文字データ 音声合成コンポーネント ( モジュール ) 情報の隠蔽と公開のルールが重要 RT ミドルウエアによる分散システム RTMにより ネットワーク上に分散するRTCを OS 言語の壁を越えて接続することができる ネットワーク ロボット A ロボット B ロボットC RTC RTC RTC RTC RTC RTC RTC RTM RTM RTM VxWorks FreeBSD ARTLinux Linux RTM RTC RTC Windows RTM RTC RTC uitron RTM RTC RTC RTC 同士の接続は プログラム実行中に動的に行うことが出来る アプリケーション操作デバイスセンサ

10 OpenRTM-aist コンポーネントフレームワーク + ミドルウエアライブラリ コンポーネントインターフェース : OMG Robotic Technology Component Specification 準拠 OS 公式 :FreeBSD, Linux (Fedora, Debian, Ubuntu, Vine, Scientific), Windows 非公式 :Mac OS X, uitron, T-Kernel, VxWorks 言語 : C++, Python, Java.NET (implemented by SEC) CPU アーキテクチャ ( 動作実績 ): i386, ARM9, PPC, SH4 PIC, dspic, H8 (RTC-Lite) ツール (Eclipse プラグイン ) テンプレートソースジェネレータ : rtc-template RTCBUilder システムインテグレーションツールションツ :RtcLink RTSystemEditor その他 Pattern weaver for RT-Middleware ( 株式会社テクノロジックアートより発売中 ) 19 標準化 20

11 RTミドルウエアの目的 なぜ標準が必要? 人々の間で共有される共通ソフトウエアモデル オープンな仕様を提供 誰でも実装可能 実装の多様性 仕様を策定することが主たる目的 実装 (OpenRTM-aist): 仕様の妥当性検証 実装技術に非依存なソフトウエアモデル 特定の言語 OS 分散オブジェクトミドルウエアに依存しないモデル (PIM: Platform Independent Model) 標準化が必要 OMG (Object Management Group) における標準化 オープンな標準化プロセスプ 21 OMG における標準化 OMG (Object t Management Group) ) ソフトウエア標準化団体 UML CORBA などの仕様策定で実績 MDA システムをPIM 化することにより 抽象化されたモデルの寿命が延び実行可能性変数 ( 品質 コスト 寿命の積 ) が向上する (MDA: Model Driven Architecture の考え方 ) PIM (Platform Independent Model) プラットフォーム ( ここでは CORBA, JavaRMI, SOAP, HORB 等分散オブジェクトプラットフォームを指す ) に依存しないモデル PSM (Platform Specific Model) プラットフォーム毎に PSM から変換されたモデル CORBA PSM, SOAP PSM etc 22

12 OMG における標準化 OMG からRFP (Request For Proposal) が出される 標準化を希望するベンダが提案を持ち寄る 提案は PIM および PSM 合意ベースのプロセスに基づき標準仕様を策定 OMGにおける認定プロセス OMG 標準としてオープンに RFP Request for Proposal 提案 A 提案 B 提案 C 提案者間の合意に基づく標準化プロセス OMG 標準 OO の標準化に関して提案がある人は手を上げてください 23 OMG における標準化 1OpenRTM-aistに基づく 2 共同提案書作成 3 標準作業部会 4 最終文書化委員会 初期提案の作成 のための詳細を議論 への提出 採択 における整合性の議論 2005 年 2006 年 2007 年 2008 年 標準仕様の公式リリース RFP 発行 (RFP= 標準仕様提案の呼びかけ ) Initial Submission Joint Submission Adopted Specification 24

13 OpenRTM と OMG RTC 仕様 NEDO プロジェクト成果 年 OMG RTC 仕様に準拠した始めてのバージョン 2009 年 RC1:5 月 RELEASE:7 月 OpenRTM-aist OpenRTM-aist OpenRTM-aist OpenRTM-aist 1.0 OMG に提案 OMG RTC 仕様採択 OMG RTC 仕様正式リリース 0.2.0のRTCを元にした仕様案を作成 2007 年 9 月採択その後 FTFにて公式リリースに向けて議論 2008 年 4 月 25 RT ミドルウエアの現状 26

14 プロジェクト RTM を取り巻く状況 NEDO: オープンイノベーションプロジェクト ( ) 2011) 経産省 NEDO: 次世代ロボット知能化技術開発プロジェクト ( ) 産総研 : 産総研イニシアチブ ( ) 2008) 文科省 : 分散コンポーネント型ロボットシミュレータ ( ) NEDO: 次世代ロボット共通基盤開発プロジェクト ( ) 科研費 : ロボットシステムモデリングと分散ミドルウエア アーキテクチャに関する研究 ( ) NEDO:21 世紀ロボットチャレンジプログラム ( ) 等 国際標準 OMG Robotic Technology Component Specification 受賞 今年のロボット大賞 2007 部品ソフトウエア部門優秀賞 2007 年度計測自動制御学会 システムインテグレーション部門賞 技術業ション部門賞績賞 第 20 回日本ロボット学会研究奨励賞 27 RT ミドルウエアの広がり OpenRTM-aist リリース OMG RTC 仕様初期草案提出 OMG RTC 標準仕様採択 OpenRTM-aist リリース OMG RTC Spec. 公式リリース 2002 年 2003 年 2004 年 2005 年 2006 年 2007 年 年度 2008 年 2009 年 2010 年 NEDO RT ミドルウエア 科研費若手 (B) 科振費分散コンポーネントシミュレータ NEDO 次世代ロボット共通基盤開発工業標準部標準基盤研究 OpenRTM-aist 1.0 リリース 今年のロボット大賞 2007 優秀賞受賞 科振費環境と作業構造のユニバーサルデザイン産総研イニシアチブ UCROA NEDO 戦略的先端ロボット要素技術開発 さまざまなプロジェクトで標準ソフトウエアプラットフォーム 経産省 NEDO 次世代ロボット知能化技術開発プロジェクト NEDO オープンイノベーション促進プロジェクト として採用されている NEDO 生活支援ロボット実用化プロジェクト?

15 RT ミドルウエア開発体制 NEDO 知能化 PJ NEDOオープンイノベーションPJ ビジネス推進協議会 コンテスト ツール 講習会 RTCBuilder RTSystemEditor 利用 利用 OpenRTM-aist C++ Pth Python Java RT ミドルウエア 準拠 派生 ML Web 産総研重点化予算 組込み RTM RTC-Lite uitron 版 仕様記述方式 RTCProfile RTSProfile 関連 標準化 RTC 標準化 D&C 標準化 産総研標準基盤研究 29 次世代ロボット知能化技術 開発プロジェクト 平成 19 年度 (12 月 )~ 平成 23 年度 (5 年間 ) 平成 19 年度予算 :19 億 5 年間総額で 70 億程度になる見込み? PL: 東大佐藤知正教授 研究テーマ プラットフォーム 作業知能 移動知能 コミュニケーション知能 7 つのテーマ 研究グループ 15 グループ 30

16 コンポーネント指向ロボット開発 設計 Hardware Design Tool RT システム開発プロセス Real-Time MotionPattern Generator ビルダ 開発 デバッグツールルシステムエディタ シミュレータシミタデプロイメント RT- コンポーネント開発 Verification RT- およびシステム開発コンフィギュレーション RTCBuilder Eclipse RTSystem 設計 Editor 設計 RTC テスト Debuger 設計 Eclipse 実装 テスト OpenHRP3 実装 運用 Scenario Editor パッケージングツール RT- コンポーネント RT Ripository リポジトリ foo Component bar Component 開発プロセス間の行き来を容易にしサービスロボット市場創生のための基盤開発者の負担を減らす統合開発環境を構築 ソフトウエアプラットフォーム ロボット知能ソフトウェアプラットフォームの研究開発 産総研 マエカワ NEC ゼネラルロボティックス セック 東大 RTC RTC RTC RTC RTC RTC RTC RTC 各コンソーシアムの技術を RTコンポーネントとして集積ソフトウェアプラットフォーム相互利用 再利用を図る仕様 記述方式の共通化 ( 社 ) 日本ロボット工業会 RTC RTC RTC RTC RTC RTC RTC RTC RT ミドルウエアを基盤としたロボットソフトウエア開発ソフトウェアツール群のための統合プラットフォー要素機能開発ビルダムを開発 RTC RTC RTC RTC RTC RTC RTC RTC RTC デバッガ 共通のプラットフォーム上 ハードウェア仕様 RTシステムエディタで さまざまな知能モジュー 知能モジュール仕様システム開発ロボット設計支援ツールルを開発する OpenRT ロボットシステム仕様 RTCリポジトリ 作業シナリオ記述 Platform (OpenRTP) 動作記述シミュレータ 動作制御記述アプリケーション動作設計ツール開発 OpenRTM+ ツールチェーン シナリオ作成ツール実時間 SW 設計ツール

17 RT ミドルウエアと半導体技術 33 ロボットの CPU と OS(1) P2 CPU:MicroSPARC II 4 OS: VxWorks L12DOF, A14DOF P3 CPU :MicroSPARC II(110MHz) 1 OS: VxWorks L12DOF, A14DOF ASIMO CPU:PowerPC? OS:VxWorks L12DOF,A14DOF,H3DOF, F4DOF,C1DOF 34

18 ロボットの CPU と OS(2) HRP-2 OS:ART-Linux CPU:Pentium!!!x2 30DOF HRP-2m Choromet OS:ART-Linux CPU:SH4 240MHz HRP-3 Promet Mk-II OS:ART-Linux CPU:Pentium4+CAN HRP-4C OS:ART-Linux CPU:PentiumM 1.6GHz, VIA C7 1GHz 35 ロボットの CPU と OS(3) PaPeRo (NEC) CPU: i386 系 ( ノートPC) OS:Windows ARM9 系 +Linux も? HOPE-1/2 ( 富士通 ) CPU:PentiumMMX 300MHz OS:RT-Linux WAKAMARU ( 三菱重工 ) CPU:ARMx7 OS:Linux (MontaVista) PR2 (Willow Garage) OS:Linux (Xenomai) CPU:PCx4+FPGAモータドライバ分散

19 知能化空間 ロボット住宅 (NEDOオープンイノベーションPJ) 生活支援ロボット 知能化空間 + ロボット RTM 家屋内のセンサネットワーク構築 センサ ロボット ロボット アクチュエータ Etc すべてをRTMで統合分散センサ モータ 組込みデバイス 37 RTUnit(2003 年 ~) /RTC-Lite(2005 年 ~) ネットワーク型マイコン機器 small/µ RTUnit を RTM で統合 MPU ROM RAM EEPROM クロック A/D DIO シリアル通信電源 RTUnit 仕様 Microchip PIC16F877A 8kwords 368 bytes 256 bytes max 20MHz 10bit 8ch 24ch 2ch LANTRONIX XPort DC 5V µrtunit small RTUnit 38

20 組込み Linux 版 OpenRTM OpenRTM をクロスビルド このプロセスは 1 回のみ行えばよい RTC 用 ROM イメージを作成 RTC 用 ROM イメージを書き込み RTC をクロスコンパイル RTC を書き込み挿入 クロス開発環境 USB メモリ ターゲット CPU ボード 39 TOPPERS 版 OpenRTM TOPPERS uitron 互換 OS オープンソース 製品搭載実績多数 RtORB 産総研版 CORBA 軽量 高速 coil OS 抽象化層 RTC RTC RTC RTC RTC RtORB OpenRTM-aist TINET coil OS (TOPPERS) 40

21 次世代ロボットに必要な LSI 組込み機器 次世代ロボット PC 小型 低消費電力 低コスト 耐ノイズ 実時間 高処理能力 小型 低消費電力 低コスト 耐ノイズ 実時間 高処理能力 ただしすべて同時に必要なわけではない 41 次世代ロボットに必要な LSI 知的制御 並列処理 画像処理 高速 並列処理 サーボ制御 中速 耐ノイズ 信頼性 センサ 低速 耐ノイズ 信頼性 低消費電力 : 分散センサ等 通信は必須 サーボ制御 中速 耐ノイズ 知的行動制御 並列処理 画像処理 認識 高速並列処理 センサ 低速 耐ノイズ 用途により多様なチップが必要となる 42

22 RTC チップ組み込みイメージ RTC チップ RTCチップには 通信インターフェース チップ化されたRTCインターフェース 基本的なI Oインターフェースが組み込まれている 既存のロボット既存のロボット既存のデバイス既存のデバイス 既存のロボット デバイスを容易に RTC 化 RT コンポーネント化されたロボット RT コンポーネント化されたロボット RT コンポーネント化されたデバイス RT コンポーネント化されたデバイス CORBA のチップ化の例 ORBexpress FPGA XILINX Vertex シリーズをサポート Vertex-4, Vertex-5 (avnet 調べ ) CORBA サポート 標準オペレーション すべてのデータ型 µs 以下のレインテンシ IDL コンパイラが Lightweight VHDL を生成 FPGA 開発ツール一式があれば開発可能 高価なため現実的ではない

23 通信技術 注目技術 無線 UWB (Ultra Wide Band) チップ間通信 ( 無線 有線 ) 実装技術 SiP (System in Package) MCM (Multi Chip Module) センサ技術 接触 触覚センサ 有機トランジスタ 45 通信技術 高速 リアルタイム通信分散型 :CAN 利用 高頻度 低スループ中央 :i386 系 CPU 各関節 :DSP ット 高信頼 安全性 (IEC61508) 省配線 多数の関節を配線 できれば無線 より複雑なプロトコルスタックを実装したチップを利用したい TCP/IP CORBA 等 46

24 並列処理 実装技術 認識 プランニング 動作生成 多自由度制御ング 動作生成 多自由度制御 マルチコア化 SiP MCM ロジックのハード化 :ASIC,FPGA RTミドルウエアはマルチコアの有効利用と柔軟性向上に寄与するソフトウエアプラットフォームトフ 47 触覚センサ 接触センササ 産総研 : 全身触覚アーム 東大生研 : 有機トランジスタ触覚センサ 東大 : 全身皮膚触覚 センサ技術 大面積 非接触近接センサ 光 電界の利用 ロボットの腕 脚など可動部すべてに貼ることができる大面積型のセンサ 安全確保に有効 ロボットとの接触から人を守る 接触するまえに検知したい 48

25 終わりに RTミドルウエア モジュール化による諸問題の解決 新たなロボットビジネス市場の創生 コンポーネントフレームワーク 開発の労力をコアロジックに集中 標準化 インターフェースの共通化と実装の多様化を目指して RTミドルウエアと半導体技術 通信技術 実装技術への期待 プロトコルのハード化 マルチコア化 49 RT ミドルウエア関連情報 OpenRTM-aist メーリングリスト OpenHRP3 OpenRTP OMG Robotics DTF 50