(Microsoft PowerPoint - OISA_Android\225\224\211\357\224\255\225\\\203X\203\211\203C\203h.ppt)

Size: px

Start display at page:

Download "(Microsoft PowerPoint - OISA_Android\225\224\211\357\224\255\225\\\203X\203\211\203C\203h.ppt)"

せいごろうふじた
5 years ago
Views:

1 BlueTooth でカメラをリモートコントロール!! ~Android における機器制御の可能性 ~ 平成 23 年度 OISA 技術研究会 Android 部会 2012 年 2 月 24 日 1

2 部会員およびアドバイザー技術委員部会員 ( 順不同 ) 菊池正敏モバイルクリエイト足立貴幸オーイーシー緒方謙一オーイーシー大津慎一 ( 副部会長 ) 富士通九州システムズ後藤秀勝富士通九州システムズ土手口芳浩 ( 部会長 ) 九州東芝エンジニアリング児玉昌也ワイズシステムズ伊藤真大分大学大学院有馬竜昭大分大学大学院アドバイザー技術委員重光貞彦大分シーイーシー安達裕之システムトレンド 2

3 目次 1. 開発のきっかけ 2. アプリ概要 3. 開発するにあたっての課題 4. 課題解決のために 5. 開発結果 6. 今後の課題 7. 機器制御の可能性について 3

4 1. 開発のきっかけ 4

5 Android 部会のテーマ Android を用いた組み込みソフトウェアの技術動向の調査検討目標 Android アプリの企画と検証 5

6 Android とは Andorid とは? - Google が提唱開発するモバイル向けの OS ミドルウェア UI アプリケーションなどのこと 6

7 Android を用いた製品サービスカーナビテレビ周辺機器デジタルフォトフレームセットトップボックス 7

8 Android を用いた製品サービスカーナビアーチャーマインドテクノロジー社ナビゲーション各種位置情報サービス Web ブラウザ音楽 / ビデオ再生インスタントメッセージショートメッセージオーディオブックなど 8

9 Android を用いた製品サービステレビ YouTube 無料動画 twitter ツイッター skype ビデオ通話 TrackID 楽曲検索など Sony Internet TV 9

10 Android を用いた製品サービス周辺機器 Sony Ericsson Live View Bluetooth 経由で Xperia と相互に連携電話メール着信通知 Twitter,Facebook の更新をチェック音楽再生アプリをリモート操作など 10

11 何を作る? 他の機器と通信してみたい家電などの身近な物既存でない物カメラを遠隔操作 11

12 カメラアプリデジタルカメラを Android で制御 Bluetooth を用いて遠隔操作組み込みは時間費用的に難しいスマートフォン 2 台を用いて代用 12

13 類似アプリ調査 CamRemo:iPhone カメラの遠隔操作アプリ問題点 : 遅延が生じる Skype でキャプチャ? 動画のため画像が粗い 13

14 問題を解決できるアプリの開発タイムラグを発生させない高画質なキャプチャ画像を記録 14

15 2. アプリ概要 15

16 リモートカメラシステムのイメージ 2 台のスマートフォンを使い遠隔地のカメラを操作するアプリケーションを開発するカメラ操作用スマートフォンリアルタイム配信映像配信用スマートフォンフォーカス設定 BlueTooth フォーカスを設定撮影撮影撮影画像蓄積用リングバッファボタンが押された瞬間の高画質な画像を取得 16

17 リモートカメラシステムの機能一覧 1 遅延のない撮影機能撮影ボタンが押された瞬間の高画質な画像を取得する 2 フォーカス設定機能映像配信用スマートフォンのフォーカスを調整する 3 過去の画像を見る機能撮影した画像より少し前が見たいときに使用する ( 例えば肝心なタイミングで目をつぶってしまったので過去のベストショットを探したい場合など ) 17

18 3. 開発するにあたっての課題 18

19 開発するにあたっての課題 1 タイムラグが発生しないような仕組みの実現方法単純に行うと操作側表示画像 1 カメラ画像を送信撮影側カメラ画像 A A B B C 2 シャッター押下 3 シャッター押下を通知 4 画像を保存 19

20 開発するにあたっての課題 1 タイムラグが発生しないような仕組みの実現方法対策 1 2 操作側撮影側番号 1 2 表示画像 2 画像と番号を操作側へ送信番号 1 2 保存画像 : : 3 受信した画像を連続表示 1 カメラ画像を番号付で保存 20

21 開発するにあたっての課題 1 タイムラグが発生しないような仕組みの実現方法 ( 対策の続き ) 操作側番号表示画像 1 2 : 4シャッター押下 2 5 画像番号を送信撮影側番号保存画像 1 2 : 6 指定画像をファイル保存 6 撮影画像 21

22 開発するにあたっての課題 2 高画質な画像を取得するための仕組み実現方法カメラ画像の保存は高画質で行いたいメモリ容量が不足しないように通信負荷が上がらないようにこれらを考慮しつつ画像と番号の管理を簡単に 22

23 開発するにあたっての課題 2 高画質な画像を取得するための仕組み実現方法リングバッファを採用メモリを一定容量だけ使用画像をファイルではなくデータとして扱える ( シャッター指示時のみ画像をファイルに保存 ) 操作側へ送信する画像は画質を落とす通信負荷を下げる 23

24 開発するにあたっての課題 2 高画質な画像を取得するための仕組み実現方法対策 1 2 操作側撮影側番号表示画像番号保存画像 1 画質を落とす : : 高画質な画像をリングバッファに保存 24

25 開発するにあたっての課題 2 高画質な画像を取得するための仕組み実現方法 ( 対策の続き ) 操作側 2 撮影側番号表示画像番号保存画像 1 2 : シャッター押下画像番号を送信通信部分はどんな方式を使う??? 1 2 : 6 指定画像をファイル保存リングバッファから画像を取り出してファイルに保存 25

26 4. 課題解決のために 26

27 通信方式の検証 1 赤外線方式そもそもAndroidに搭載されていない 2 無線 LAN(Wi-Fi) 方式別途ルーターが必要アドホック通信は? OSのrootを取らないと出来ない ( 要ハッキング ) テザリングも root が必要 ( 一部カスタマイズされた Android 端末は使えるようだが一般的でない ) 27

28 通信方式の検証 3BlueTooth 方式 GAP (Generic Access Profile) 機器の接続 / 認証 / 暗号化を行うためのプロファイル SDAP (Service Discovery Application Profile) 他の Bluetooth 機器が提供する機能を調べるためのプロファイル SPP (Serial Port Profile) Bluetooth 機器を仮想シリアルポート化するためのプロファイル DUN (Dial-up Networking Profile) 携帯電話 PHS を介してインターネットにダイヤルアップ接続するためのプロファイル FTP (File Transfer Profile) パソコン同士でデータ転送を行うためのプロファイルファイル転送プロトコルの FTP とは無関係 HID (Human Interface Device Profile) マウスやキーボードなどの入力装置を無線化するためのプロファイル HCRP (Hardcopy Cable Replacement Profile) プリンタへの出力を無線化するためのプロファイル BPP (Basic Print Profile) プリンタへ転送印刷するためのプロファイル OPP (Object Push Profile) 名刺データの交換などを行うためのプロファイル SYNC (Synchronization Profile) 携帯電話 PHS や PDA と PC との間でスケジュール帳や電話帳のデータ転送を行い自動的にアップデートするためのプロファイル LAP (LAN Access Profile) Bluetooth を利用して無線 LAN を構築するためのプロファイル 28

29 通信方式の検証 FAX (FAX Profile) PC から FAX を送信するためのプロファイル HSP (Headset Profile) Bluetooth 搭載ヘッドセットと通信するためのプロファイルモノラル音声の受信だけではなくマイクで双方向通信する HFP (Hands-Free Profile) 車内やヘッドセットでハンズフリー通話を実現するためのプロファイル HSP の機能に加え通信の発信着信機能を持つ BIP (Basic Imaging Profile) 静止画像を転送するためのプロファイル PAN (Personal Area Network Profile) 小規模ネットワークを実現するためのプロファイル A2DP (Advanced Audio Distribution Profile) 音声をレシーバー付きヘッドフォン ( またはイヤホン ) に伝送するためのプロファイル HSP/HFP と異なりステレオ音声高音質となる AVRCP (Audio/Video Remote Control Profile) AV 機器のリモコン機能を実現するためのプロファイル PBAP (Phone Book Access Profile) 電話帳のデータを転送するためのプロファイル OBEX (Object Exchange) オブジェクト交換 (OPP BIP FTP SYNC) で用いる認証方式の一つデータ転送プロファイルの一つで実装しているとデータ送受信時に OBEX 認証パスキーの入力を接続相手に要求する ICP (Intercom Profile) 同一ネットワーク内にある Bluetooth 搭載携帯電話同士を公衆電話網を介さずに直接接続させるためのプロファイル HDP (Health Device Profile) 健康管理機器同士を接続するためのプロファイル 29

30 通信方式の検証 3BlueTooth 方式プロファイルがたくさんありすぎて何を使っていいやらサンプルは SPP を使ってテキストを送信している SPP はいけそうだ実機で試すとうまく動作した OK 30

31 オブジェクトの渡し方検証どうやって画像データを受け渡すのか? 画像番号と一緒に送るためメディアコンテナが使える MPEG2,MPEG4 等しかしこの調査だけで時間を消費してしまうもっとシンプルな方法を調査 BlueTooth で画像なんて送れんのか!? 画像を JPEG にして圧縮しそれでも間に合わなければ画像を小さくしよう Java はオブジェクト指向言語なのでクラスの永続化機能があるはずそれならばシリアライズ機能も実装されていると推測 ObjectInputStream ObjectOutputStream がシリアライズされたクラスオブジェクトを通信ストリームに流しこめる 31

32 BlutoothChat サンプルをひな型にして下記クラスオブジェクトの転送を実験してみる転送クラス public class CTest1 implements Serializable } { オブジェクトの渡し方検証 private static final long serialversionuid = 123L; int m_nscrnno; // 画面番号 byte m_bydata[]; // JPEG バイナリ JPEG バイナリ部分に 0 から 255 の値を入れて転送 OK 受信側で復元できたこれで画像番号とJPEGデータを送れる! 32

33 5. 開発結果 33

34 開発環境など分散開発のための環境の統一 AndroidSDK: ver.r16( 最新版 ) Eclipse: ver.3.6 Full All in One(JRE あり ) Java: ver.1.6 Update30( 最新版 ) ターゲット OS: Android OS 2.2 動作検証利用機器 :Xperia acro(ntt docomo) HT-03A(NTT docomo) REGZA Phone T-01C(NTT docomo) 34

35 開発結果プロファイルは SPP を使用した画像は JPEG データを転送することで実現したリングバッファを利用することで撮影側でシャッターを押したタイミングの画像を撮影できるようになった ( 時差無し ) リングバッファを利用して画像を保存しているため前へ次へボタンによって 1 つ前 1 つ後の写真を表示することもできるようになったフォーカス機能を実装 35

36 カメラアプリのスペックプレビュー画像記録用高画質画像ファイル形式 : JPEG 画像サイズ : ピクセル BlueTooth のバージョン : v2.1+edr 通信可能距離 : 最大 100m 見通しの良い場所で測定 36

37 保存データについてプレビュー用画像保存用画像 37

38 6. 今後の課題 38

39 今後の課題 ( 入れたい機能 ) 1:n でのコントロール ( 操作側 :1, カメラ側 : n) 色々な角度から同じものを撮影できるベストショットがとれやすくなるセキュリティの向上カメラ撮影時のシャッター音アプリ起動認証 ( パスワード入力等 ) Bluetooth 起動顔認証音声認識カメラとしての機能向上モノクロセピア撮影やフラッシュ機能など 39

40 7. 機器制御の可能性について 40

41 機器制御の可能性についてスマートフォン同士だけでなく他の機器とも組み合わせることで可能性は大きく広がる医療機器家電交通遠隔操作できる胃カメラ Android 端末一つで全ての家電のリモコンに (Bluetooth 音声認識 ) Android 端末がドライブレコーダーに ( リングバッファジャイロセンサ ) 41

42 機器制御の可能性について福祉教育 Android の顔認識機能を利用したベビーモニター環境放射線量を測定し Android の GPS 機能を利用してモニタリング 42

43 参考資料 Wikipedia (Bluetooth プロファイル一覧 ) 43

44 ご清聴ありがとうございました 44

Bluetooth 対応ヘッドセットなどを使ってワイヤレスで音楽を聴くことができますワイヤレスで音楽 / 音声を出力する (+8-49 ページ ) Bluetooth 関連用語について 8-40 用語デバイスアドレス GAP (Generic Access Profile) SDAP (Serv

Bluetooth 対応ヘッドセットなどを使ってワイヤレスで音楽を聴くことができますワイヤレスで音楽 / 音声を出力する (+8-49 ページ ) Bluetooth 関連用語について 8-40 用語デバイスアドレス GAP (Generic Access Profile) SDAP (Serv 周辺機器との接続やデータ交換をする (Bluetooth) Bluetooth をご利用になる前に Bluetooth について Bluetooth とは 10m 以内にある本製品同士や Bluetooth 対応機器 ( パソコンなど ) との間をワイヤレスでつなぎケーブルを使用することなく通信できる技術です本製品の Bluetooth の仕様は次のとおりです通信方式出力 1 通信距離 Bluetooth