④【修正】プレゼン資料（九州工業大学_田向権１）

Size: px

Start display at page:

Download "④【修正】プレゼン資料（九州工業大学_田向権１）"

しまなさどひら
5 years ago
Views:

1 Robot OS (ROS) と FPGA を融合したロボットや自動車のための新しい計算機システム九州工業大学大学院生命体工学研究科人間知能システム工学専攻田向権 (Hakaru TAMUKOH) tamukoh で検索!

2 産学連携の経歴社員 10 名以下のベンチャー小企業や, 大企業の研究所との産学連携の経験があります! ( 以下, 進行中のもの ) 国プロ経産省 NEDO 人工知能プロジェクト ( 解析可能な人工知能と自動運転への応用 ) 大企業研究所系日立研究所, エクォスリサーチ, 他非公開案件 5 件ベンチャー系株式会社ブラテック ( 情報システムと人工知能応用 ) 株式会社ネットビジョン ( 画像処理とディジタル回路 ) 学会, 他研究機関における活動電子情報通信学会スマートインフォメディアシステム研究専門委員会幹事補佐, 専門委員日本神経回路学会理事東京大学生産技術研究所協力研究員一般社団法人ファジィシステム研究所, 一般社団法人行動評価システム研究所主任研究員 1

3 本発明のポイント従来技術とその問題点自動車やロボットの知能化には高速かつ低消費電力な組込み計算機システムが必要 Robot Operating System (ROS), ロボット向けミドルウェアが広く普及ロボットプログラマが回路の内部構造やインタフェースを理解して使いこなすのは困難本発明の特長と想定される用途 FPGA 内部回路を ROS インタフェースで簡便に取り扱えるホームロボットへ搭載して性能を評価ロボットや自動運転車のシステム高速化省電力化 2

4 研究背景 : サービスロボット少子高齢化社会のため注目を集める 2035 年には2015 年に比べ約 13 倍の市場規模 [1] 知能化が重要 : 画像や音声を用いてコミュニケーション RoboCup@Home: サービスロボットの国際的競技会 RoboCup Japan Open 2016 愛知 (23 チーム約 170 名 ) [1] 経済産業省, NEDO: ロボット産業将来市場調査 ; 3

5 従来技術 ( サービスロボット ) の問題点 1. 知的処理の演算量が大きく, ロボットに搭載している PCでは実時間処理が不可能 ( 例 : 人物追跡 3[fps][2]) 強力なGPUは消費電力, 排熱などの問題で搭載不可新たなコンピュータアーキテクチャが必要 2. 全ての知的処理を作りこむと膨大な開発時間が必要ロボット用ミドルウェアを使うべき [2] S. Lee and K. Horio: Human Tracking using Particle Filter with Reliable Appearance Model ; SICE Annual Conference (SICE),

6 Robot Operating System (ROS) ロボット向けミドルウェア米国のロボットベンチャー企業 Willow Garage 社が開発 ( 現在は,Open Source Robotics Foundationが開発 ) ロボットシステム構築のデファクトスタンダード ROS Wiki アクセス数 : 110 万アクセス / 年 (2015) [1] ROS に関する論文数 : 1843 本 (Google Scholar 2015/09/11 現在 ) [1] オープンソースパッケージ数 : 3000 パッケージ以上 [2] [1] Community Metrics Report 2015, [2] Community Metrics Report 2011, 5

7 ROS によるロボットシステムの構築カメラ測域センサ物体検出認識 (Deep Learning) 2. ROS インタフェース (ROS Topic による通信 ) 1. オープンソース ROS ノード (Python, C++) 3. ROS ツールロボットアームステートマシン ( 動作管理 ) 台車 ROS ノードの組換でロボットシステムの変更拡張が簡単かつ迅速に行える動画ご覧ください 6

8 本発明の全体像人間と共存できるサービスロボットの頭脳を構築する PC ROS (Robot Operating System) 既存 ROS パッケージ音声認識人物検出追跡負荷をオフロード hw/sw 複合体 FPGA (Field Programmable Gate Array) 知的処理デジタル回路 ( 人物検出追跡 ) 認識 (Deep Learning) センサデータ ROS インタフェースプロセッサ (CPU) サービスロボット Exi@ hw/sw 複合体パッケージ ROS- プロセッサ -FPGA ソフトウェアセンサ hw/sw 複合体 (FPGA + CPU) による知的処理の高速化 ROS( ロボット用ミドルウェア ) によるハードウェアの抽象化 7

9 人工知能はどこに? Deep Convolutional Neural Networks(DCNN) と転移学習を用いた物体認識 Particle Filter と深度画像を用いた人物追跡 Gabor Filterとエラスティックグラフマッチングによる人物認識 M. Tanaka, et al., Human Detection and Face Recognition Using 3D Structure of Head and Face Surfaces Detected by RGB-D Sensor, Journal of Robotics and Mechatronics, 自然な音声対話 ( 参考 : 記号創発ロボティクス ) 音声認識にはJuliusを利用, 音声認識後の意味理解に機械学習 ( 現状, 我々チームは言葉揺れの統合のみ : 取ってきて, 持ってきて, 取って ) ARマーカ認識によるグリッパ位置のビジュアルフィードバックを用いた高精度なアーム制御 8

10 コンピュータシステムと LSI に求めること常時 10 以上の ROS トピックが並列動作ノート PC 搭載の 4 コア CPU のパワーは常に不足ステートマシンで起動するトピックを切り替えつつやりくり車載ネットワークのように多数の CPU を ROS でネットワーク化 DCNN や各種画像処理には高速化が必須 Point Cloud Library による深度画像からの物体切出し,DCNN による物体認識, パーティクルフィルタによる人物追跡など画像処理を多用 GPU は必須, 但し消費電力に目をつぶっても組込みには熱が凄い小型化, 高速化, 省電力化が必須, 同時に柔軟性も必要各種知的処理の LSI 化 ( 但しアルゴリズムは日進月歩 ) と ROS 対応実行モードだけでも DNN の専用チップが欲しい 9

11 FPGA の特長 CPU,Cell,GPU,FPGAの比較 [1] 演算性能 1(CPU), 45(Cell), 14(GPU), 228(FPGA) 速度比 1(CPU), 31(Cell), 25(GPU), 584(FPGA) 単位電力比開発日数 1 Day(CPU), 90(Cell),45(GPU),300(FPGA) 大部分がインタフェースの開発とデバッグ *Smith-Waterman algorithmを用いて検証 [1] K. Benkrid: High Performance Biological Pairwise Sequence Alignment; FPGA versus GPU versus Cell BE versus GPP ; Reconfigurable Computing,

ROS-FPGA 連携システム : ブロック図ノート PC Ubuntu 12.

12 ROS-FPGA 連携システム : ブロック図ノート PC Ubuntu ROS メッセージ ROS パッケージ ROS-FPGA 通信路をパッケージ化 TCP/IP ソケット通信 ZedBoard(Zynq) PS(ARM) Xilinux OpenCV センサ (WEB カメラ ) Xillybus Xillybus Lite XillyVGA (AXI バス ) 表示装置 PL(FPGA) Xillybus IP Core ユーザ回路センサアクチュエータアクチュエータ ROS パッケージ ROS パッケージセンサアクチュエータ ROS(Robot Operating System) PS(Processing System) PL(Programmable Logic) FPGA 内部に構成された知的処理回路はROSノードにぶら下がるひとつのパッケージとして簡便に取り扱える田向, 石田, 森江, 特願

13 提案システム : hw/sw 複合体の導入 hw/sw 複合体 (ZedBoard) ノート PC Ubuntu ROS トピック ROS パッケージ hw/sw 複合体をパッケージ化 TCP/IP ソケット通信プロセッサ Xilinux OpenCV OpenNI2 Xillybus (AXI バス ) FPGA Xillybus IP Core 知的処理センサ表示装置 ROS パッケージ ROS パッケージセンサアクチュエータプロセッサで既存のデバイスドライバを使用可能 FPGA によって演算量の大きい知的処理をリアルタイムで実行 hw/sw 複合体をパラレルに使用して, 大規模化, 高速化も可能 12

提案システム : ROS によるハードウェア抽象化ノート PC Ubuntu 12.

14 提案システム : ROS によるハードウェア抽象化ノート PC Ubuntu hw/sw 複合体 (ZedBoard) ROS ROS パッケージ hw/sw 複合体をパッケージ化 TCP/IP ソケット通信プロセッサ Xilinux OpenCV OpenNI2 Xillybus (AXI バス ) FPGA Xillybus IP Core ユーザ回路トピックセンサ表示装置 ROS パッケージ ROS パッケージセンサアクチュエータ ROS インタフェース ( トピックなど ) を介して hw/sw 複合体を制御ロボットプログラマがハードウェア回路 (FPGA) を利用可能 13

15 実験 : レイテンシの評価データ例 ROS-PS: 演算内容の指定 (StartCalcCenter) PS-ROS: 実行結果 (Center,504,178) ROS-PS-ROS 間通信路のレイテンシ : 4.7[ms] ( 移動台車の制御周期 100[ms]) 他の ROS パッケージからは, メッセージで FPGA アクセス可能 14

16 実験 : 画像処理での評価 ( スループット ) hw/sw 複合体 (ZedBoard) プロセッサ Xilinux OpenCV OpenNI2 Xillybus (AXI バス ) FPGA Xillybus IP Core 重心演算回路 Xtion (RGB-D カメラ ) 表示装置 0.8[m]~1.2[m] を示すピクセルの重心をFPGAで演算 ( まずは, 簡単な回路でhw/sw 複合体の評価 ) フレームレート : 28.61[fps]( 画像はVGAサイズ ) RGB-Dカメラ (30[fps]) と同等 = 正しく構築できている 15

hw/sw 複合体パッケージ ROS-ARM-FPGA 通信ソフトウェア Xillybus IP Core OpenNI2

17 実験 : サービスロボットに実装ノート PC1 (Windows 7) ノート PC2(Ubuntu 12.04) ROS hw/sw 複合体プロセッサ (CPU) FPGA 台車制御クライアント A. 人物追跡パッケージ B. hw/sw 複合体パッケージ ROS-ARM-FPGA 通信ソフトウェア Xillybus IP Core OpenNI2 重心演算回路 ( ユーザ回路 ) EXIA 台車 Xtion PRO LIVE 重心演算回路を ROS インタフェースで動かし, 台車を制御重心演算による人物追跡の動作を確認 16

18 まとめまとめ hw/sw 複合体を ROS で抽象化することにより, ロボットプログラマでも ROS インタフェースでハードウェア回路 (FPGA) を扱えるようになったサービスロボットに実装して人物追跡の動作を確認した今後の展開 MRCoHOG や Deep Learning など演算量の大きい知的処理を実装して hw/sw 複合体による高速化の有効性を示す大規模化高速化に向けて hw/sw 複合体をパラレルにするシステム構築を行う 17

19 企業への期待 FPGAは内部の書き換えが可能という柔らかさを持ちつつハードウェアの高速化省電力化の恩恵を受けることが可能です. ロボットや自動運転車のコンピューティングデバイスおいて, 特に人工知能系の処理の高速化に寄与します. 本シーズをベースに共同研究資金寄付金の提供や, 未来のロボットに搭載される脳型計算機開発を望みます Tamukoh Lab. Kyutech, Japan 18

20 本技術に関する知的財産ハードウェアプラットフォーム及びハードウェアプラットフォームを用いたハードウェアの操作方法, 特願田向権, 石田裕太郎, 森江隆, 出願人 : 九州工業大学課題ハードウェアの操作が容易にできるハードウェアプラットフォーム及びハードウェアプラットフォームを用いたハードウェアの操作方法を提供する解決手段複数のハードウェアと接続し各ハードウェアを操作するアプリケーションソフトウェアの動作環境を構築するミドルウェアが実装されたハードウェアプラットフォーム 10 はミドルウェアにより動作環境が構築されアプリケーションソフトウェアが実行される処理手段 24 を備えたソフトウェアユニット 22 とソフトウェアユニット 22 と接続すると共にアプリケーションソフトウェアの中の特定アプリケーションソフトウェアの操作対象となる複数のハードウェアと接続しソフトウェアユニット 22 で特定アプリケーションソフトウェアが実行される際に特定アプリケーションソフトウェアによるハードウェア処理を行う演算回路が形成されるハードウェアユニット 23 とを有する 2015 Tamukoh Lab. Kyutech, Japan 19

21 本技術に関する知的財産 20

22 お問い合わせ先九州工業大学イノベーション推進機構産学連携 URA 領域知的財産部門 ( 客員教授 ) 石田精 TEL FAX ishida-s@ccr.kyutech.ac.jp 2015 Tamukoh Lab. Kyutech, Japan 21

田向研究室PPTテンプレート

田向研究室PPTテンプレート Hibikino-Musashi@Home: ホームサービスロボット開発学生プロジェクトの紹介 18/09/14 ROSCon JP 2018 Hibikino-Musashi@Home 九州工業大学田向研究室石田裕太郎 hma@brain.kyutech.ac.jp 今日紹介するロボット RoboCup@Home に参戦するホームサービスロボット Eix@ HW: 九工大 SW: 九工大 2018