d1-ros-picking-system-yasukawa

Size: px

Start display at page:

Download "d1-ros-picking-system-yasukawa"

あまめえんの
4 years ago
Views:

1 2019 年 5 月 28 日 / 出典 : 環境社会システム事業部森田賢開発部出典 : 出典 : : The MathWorks, Inc. の商標

2 発表者自己紹介 Qiita : Increments 株式会社の商標業務内容プラント用監視制御装置の開発システムコントローラ開発課ソフトウェア開発を専門社会人博士学生の活動ロボット工学を専門 Qiitaでのロボット技術解説記事を執筆 (ROS 1

拙著ROS本のご紹介著書概要西田, 森田ら, 実用ロボット開発のためのROSプログラミング, 森北出版, 2018.

(industrial_ci)等応用項目を主担当として執筆出典 https://opencv.org/ 出典 http://pointclouds.

3 拙著ROS本のご紹介著書概要西田, 森田ら, 実用ロボット開発のためのROSプログラミング, 森北出版, コンピュータビジョン (OpenCV) ポイントクラウド (PCL) プラグイン開発 (Pluginlib) テストコード (rostest) CI 連携 (industrial_ci)等応用項目を主担当として執筆出典出典出典連携の章を担当出典 2

拙著 ROS 本のご紹介著書評判 Amazon 売れ筋ランキングロボット工学カテゴリベストセラー 1 位獲得 (2018 年 10 月 16 日時点 ) 著名な ROS デベロッパによるブログ Twitter 等での好評なレビュー! ros.youtalk.jp @youtalk 氏 : https://ros.youtalk.jp/2018/10/14/ros-programming-book.

4 拙著 ROS 本のご紹介著書評判 Amazon 売れ筋ランキングロボット工学カテゴリベストセラー 1 位獲得 (2018 年 10 月 16 日時点 ) 著名な ROS デベロッパによるブログ Twitter 等での好評なレビュー! 氏 : 氏 : 氏 : ROS x の解説がある唯一の和書! 会場にて販売中! 3

5 アウトライン 1. モチベーション Robotics System Toolbox TM とは ROS-Industrial について ROS+ 導入のメリット 3. ユーザとしての所感良かった点気になった点要望 2. サンプルアプリピック & プレースアプリ概要各機能説明 / 4

OSS では提供できない水準の品質を担保 ROS 単体では提供されない先端技術活用

6 モチベーションの概略図 OSS: オープンソースソフトウェア他社に優位がある社内独自の固有技術新技術導入検証のリソースに限りありオープンイノベーション自社技術 OSS のみでは不足する先端機能 + 品質の拡充 / 先端技術を容易に組み合わせ活用可能 OSS ゆえに利用できる機能にムラも有 OSS OSS では提供できない水準の品質を担保 ROS 単体では提供されない先端技術活用商用ツール自社技術 OSS 商用ツールの統合によるイノベーションの可能性に期待! 本講演では OSS 商用ツールの組合せ検証の事例を紹介 5

7 Robotics System Toolbox について Robotics System Toolboxとは Windows : Microsoft Corporation の商標 Linux : Torvalds, Linus氏の商標 : The MathWorks, Incの商標ロボット開発に必須となる種々のアルゴリズムが含まれるとROSを連携するためのインターフェースを追加 ROSとはロボット用ソフトウェアプラットフォーム世界中のロボット研究開発におけるデファクトスタンダード使用イメージ Robotics System Toolbox ROS IO Other Toolboxes 出典 png-svg/preview/140692/linux-logo / 6

ROS の産業応用への展開 ROS-Industrial (ROS-I) とは? 画像出典 : https://rosindustrial.

8 ROS の産業応用への展開 ROS-Industrial (ROS-I) とは? 画像出典 : ROS の産業応用を推進するためのコンソーシアムメーカユーザプラント等 60 以上の世界的な企業が参画弊社米国支部が参画 7

9 ROS-I における Motoman の対応状況 Github リポジトリで無償公開ドライバ 3DCAD モデル可視化ツール対応等 GP12/7/8 参考 :GitHub 画面 MH5/12/50 MotoMINI SDA10F/10D SIA5D/10D/20D 出典 : 8

10 メーカにおける ROS 導入のメリット App Store : Apple Inc. の商標 ROSの特長通信ライブラリ開発操作ツール高機能ライブラリエコシステムアプリケーション開発に注力可能グラフ 3次元ビューワシミュレータコンパイラ学術レベルの機能もアプリ共有 install が容易 Apple Store 的ベンチマークが容易に ROSならオープンソースで先端的な技術を利用可能組み合わせ検証が容易に ROS対応のセンサアクチュエータであれば容易に導入可能 ROSのネットワークを利用することで簡便な設定で相互通信可能開発工数の削減先端機能ベンチマークの効率化等々 9

11 Robotics System Toolbox 導入のメリット Robotics System Toolbox の特長母体のがマルチプラットフォーム他のツールボックススクリプトと連携可能既存モデルとの組み合わせ検証が容易社内で蓄積したの資産と連携可能メーカにおける主流な OS:Windows ベースで ROS の検証が可能多様なアプリケーション構築が容易の種々のツールボックスを組み合わせることで ROS 単体では構築が困難な高度な先端技術を搭載したアプリケーション開発が容易にサンプルアプリでの検証を実施 10

12 アウトライン 1. モチベーション Robotics System Toolbox とは ROS-Industrial について ROS+ 導入のメリット 3. ユーザとしての所感良かった点気になった点要望 2. サンプルアプリピック & プレースアプリ概要各機能説明 / 11

13 サンプルアプリ概要 Gazebo: 3D動力学物理シミュレータ物体認識位置推定 RGBDセンサ情報をもとにディープラーニングにより物体認識 3次元認識した物体の位置を推定軌道計画ピックプレースロボットの現在姿勢から認識した物体位置までの軌道を計画計画軌道に基づきロボットを制御しピック&プレースを実施音声入力マイクで音声入力指示に従いロボットを制御 MotoMINI のシミュレーション ROS-Iで提供されるMotoMINIモデルを活用シミュレータ(Gazebo)を利用するの機能オープンソースのみでサンプルアプリを構築 12

14 サンプルアプリ動画 SVM: Suppor Vector Machine (機械学習の一手法) YOLOv2: You Only Look Once ver. 2 (深層学習の一手法) Example ベースのシステム構築 Mathworks 社ご提供の Example をベースにシステムを構築変更例 KUKA社 youbot 弊社 MotoMINI, SVM YOLOv2(深層学習) 物体認識結果シミュレータ状態制御ブロック図 13

15 デモビデオ 14

16 サンプルアプリ全体像説明の流れブロック図 ( モデル参照) 軌道計画 1. 物体検出位置推定 2. 軌道計画状態制御シミュレーション音声認識 3. 音声認識 4. 状態制御物体検出位置推定センサ値取得 15

17 サンプルアプリ全体像 1. 物体検出位置推定説明の流れブロック図 ( モデル参照) 軌道計画 1. 物体検出位置推定 2. 軌道計画状態制御シミュレーション音声認識 3. 音声認識 4. 状態制御物体検出位置推定センサ値取得 16

18 物体検出+位置推定のフロー ROS 変換物体検出結果物体検出センサ情報実機 or シミュレータ物体位置位置推定 RGB画像を使用深度画像を使用 YOLOv2による検出三次元位置を取得 Robotics System ToolboxTM Deep Learning ToolboxTM Computer Vision ToolboxTM Image Processing ToolboxTM Computer Vision ToolboxTM 17

認識時画像取得学習済モデルラベル Deep Learning ToolboxTM End to End Network 領域推定特徴抽出分類入力画像

19 物体認識ディープラーニング(YOLOv2)の活用 YOLOv2 による物体認識のフロー学習時学習画像の取得入力特徴抽出学習画像 YOLOv2 ラベリングアンカ Robotics System ToolboxTM Image Processing ToolboxTM Robotics SystemToolboxTM 認識時画像取得学習済モデルラベル Deep Learning ToolboxTM End to End Network 領域推定特徴抽出分類入力画像学習済 YOLOv2 バウンディングボックスの推定ワークを抽出 Robotics System ToolboxTM Deep Learning ToolboxTM 18

20 位置推定点群 ( ポイントクラウド ) の活用点群による位置推定 RGBD センサによる RGB 画像と深度画像の両データを活用 Computer Vision Toolbox TM RGB 画像で物体検出深度画像で対応する位置の奥行きを取得 19

21 サンプルアプリ全体像 2. 軌道計画説明の流れブロック図 ( モデル参照) 軌道計画 1. 物体検出位置推定 2. 軌道計画状態制御シミュレーション音声認識 3. 音声認識 4. 状態制御物体検出位置推定センサ値取得 20

軌道計画のフローロボット構成 (URDF, CAD) ツリー構造 ROS設定データを容易に利用可能逆運動学運動学パラメータ ROS インポート設定情報 URDF: ロボットモデル記述フォーマット手先の始/終点指定関節角を算出 Robotics System ToolboxTM

22 軌道計画のフローロボット構成 (URDF, CAD) ツリー構造 ROS設定データを容易に利用可能逆運動学運動学パラメータ ROS インポート設定情報 URDF: ロボットモデル記述フォーマット手先の始/終点指定関節角を算出 Robotics System ToolboxTM 初期姿勢最終姿勢 (関節角表現) 軌道計画 Robotics System ToolboxTM 初期関節角軌道 (線形補間) 最適化計算(物理Sim) 最適関節角軌道 (スプライン補間) 関節軌道 SimscapeTM MultibodyTM Optimization ToolboxTM 21

最終姿勢 (関節角表現) 軌道計画 Robotics System ToolboxTM 初期関節角軌道 (線形補間)

23 軌道計画のフロー本日説明する内容ロボット構成 (URDF, CAD) ツリー構造 ROS設定データを容易に利用可能逆運動学運動学パラメータ ROS インポート設定情報手先の始/終点指定関節角を算出 Robotics System ToolboxTM 初期姿勢最終姿勢 (関節角表現) 軌道計画 Robotics System ToolboxTM 初期関節角軌道 (線形補間) 最適化計算(物理Sim) 最適関節角軌道 (スプライン補間) 関節軌道 SimscapeTM MultibodyTM Optimization ToolboxTM 22

24 最適化部のフロー最適化計算初期軌道物理 sim コスト関数 (線形) SimscapeTM MultibodyTM スプライン経由点更新設定情報 No 収束 Optimization ToolboxTM ロボット構成 (URDF, CAD) Yes 最適軌道 (スプライン) ROS 事前インポート注 Robotics System Toolbox とは別に 23

25 最適化部のフロー : 主要ポイントの説明物理 sim コスト関数 Simscape TM Multibody TM 設定情報ロボット構成 (URDF, CAD) 24

26 最適化部のフロー主要ポイントの説明物理 sim コスト関数 SimscapeTM MultibodyTM STL URDFインポート設定情報ロボット構成 (URDF, CAD) CADインポート URDF ROS情報のインポート機能により連携が容易 25

27 サンプルアプリ全体像 3. 音声認識説明の流れブロック図 ( モデル参照) 軌道計画 1. 物体検出位置推定 2. 軌道計画状態制御シミュレーション音声認識 3. 音声認識 4. 状態制御物体検出位置推定センサ値取得 26

28 音声認識のフロー CNN: Convolutional Neural Network (深層学習の一手法) スペクトログラム変換音声入力マイクで音声入力音声信号を取得単語認識結果音声認識スペクトログラム画像 CNN での単語認識動作指示動作指令指定されたワークを把持するよう動作指示生成 go right Audio ToolboxTM Deep Learning ToolboxTM Audio ToolboxTM Robotics System ToolboxTM 27

29 音声認識ディープラーニング(CNN)の活用 CNN による音声認識のフロー学習時単語1 変換スペクトログラム画像特徴抽出学習入力画像周波数音声データの取得 CNN R-CNN 単語2 学習済モデルラベル時間 Audio ToolboxTM Deep Learning ToolboxTM Audio ToolboxTM 認識時特徴抽出分類音声の入力変換周波数スペクトログラム画像入力画像学習済 CNN 単語認識動作指令: 開始停止ワーク指定: 左, 中央, 右動作指示生成時間 Audio ToolboxTM Audio ToolboxTM Deep Learning ToolboxTM 28

30 サンプルアプリ全体像 4. 状態制御説明の流れブロック図 ( モデル参照) 軌道計画 1. 物体検出位置推定 2. 軌道計画状態制御シミュレーション音声認識 3. 音声認識 4. 状態制御物体検出位置推定センサ値取得 29

31 状態遷移状態遷移による各コンポーネントの制御自律制御アームロボットの状態管理 Stateflow 物体検出コンポーネントコンポーネント軌道計画コンポーネント 30

32 アウトライン 1. モチベーション Robotics System Toolbox とは ROS-Industrial について ROS+ 導入のメリット 3. ユーザとしての所感良かった点気になった点要望 2. サンプルアプリピック & プレースアプリ概要各機能説明 / 31

33 ユーザとしての所感良かった点高度な画像認識や音声認識等高度な機能との連携が容易 ROS 単体ではほど容易には扱えない URDF, TF 等周辺ツールの IO にも対応しており ROS との親和性が高いシーケンサやブロック化の GUI は StateFlow や等に軍配 Example ベースでの開発ができたのでプロトタイプの早期立上げを実現気になった点処理に時間がかかる Coder による高速化も可ロボットを変更した際にチューニングを要する箇所が分散している ROS MoveIt! なら Setup Assistant ツールで一括設定が可能機能によってはツールボックス別にロボットモデルを読み込む必要ありこんなことができたら嬉しい TF: 座標変換支援機能 MoveIt!: 多関節ロボット用軌道計画ツール ROS 2: ROS の新バージョン V-REP: 物理シミュレータのモータ等のモデルを Gazebo プラグインとしてインポート Windows 対応版 ROS とが連携する事例を見たい現状は ROS が VM 上の Linux で動作する場合のチュートリアルのみ ROS 2 V-REP にも対応を! 32

34 / 33

35 以下参考資料 34

36 YOLOv2 ラベル + バウンディングボックスの学習学習データの準備からワーク位置をランダム配置様々な姿勢ワーク画像を自動取得バウンディングボックス + ラベルも自動作成 ROS シミュレータの指示に従いワーク再配置画像を取得してに送信 35

37 36

38 37

39 38

Microsoft PowerPoint - 【最終提出版】 MATLAB_EXPO2014講演資料_ルネサス菅原.pptx

Microsoft PowerPoint - 【最終提出版】 MATLAB_EXPO2014講演資料_ルネサス菅原.pptx MATLAB/Simulink を使用したモータ制御アプリのモデルベース開発事例ルネサスエレクトロニクス株式会社第二ソリューション事業本部産業第一事業部家電ソリューション部 Rev. 1.00 2014 Renesas Electronics Corporation. All rights reserved. IAAS-AA-14-0202-1 目次 1. はじめに 1.1 モデルベース開発とは?