平成 25 年度卒業研究中間発表 所属大隈研究室指導教員大隈ひとみ発表者渡邉賢明
目次 1. はじめに 2. テーマ変更について 3. 使用ソフトについて 4. 現在までにできていることについて 5. CG 映し出しのプログラムの説明と問題点 6. 音声再生のプログラムと改良点 7. 今後の課題 8. 開発環境 9. 参考文献
IKEA の事例 1. はじめに 筒井浩平氏 Android 端末での AR アプリケーションの開発 ( 平成 23 年度卒業研究 ) AR 技術に関心を持った AR(Augmented Reality) 拡張現実 現実の環境から与えられる情報に コンピュータが作り出した情報を 付加し 補足の情報を与える技術 IDEA*IDEA (http://www.ideaxidea.com/archives/2010/06/ikea_ar_catalog.html)
2.1 テーマ変更について 構想発表 AR 技術を用いたグリーティングカード作成ソフトの開発 機能 : 1ユーザ1( 作成者 ) が写真を使ってARを作れる 2ユーザ1が作ったARをユーザ2( 閲覧者 ) が端末を使い閲覧できる 変更理由 : 1. ARの良さを活かせない ( あらゆる角度から見える 音声など ) 2. プログラム一つ一つをしっかり理解したい 3. ユーザの手間を極力省きたい
2.2 開発アプリの概要 実行画面 ( 合成 ) 対象 : 小学生以下の子ども 使用シーン : スマホ or タブレットを持つ親と一緒に車の名前 特徴を学ぶ コンテンツ : 働く車 ( パトカー 救急車 消防車 ) 機能 :CG の映し出し CG と対応した音声の再生 CG 映し出しの際に車の名称表示動きのある CG
サンプル実行画面 3.1 NyARToolkit C 言語ライブラリ ARToolkit を参考に実装された オープンソースのライブラリ AR アプリケーションが容易に作成可能 ARToolkit と違う点 画像サイズ無制限 ID マーカ判別機能など
実行画面 3.2 CG 作成ソフトについて フリーソフトである サンプル CG があり 色々と試すことが可能なソフト メタセコイアを使用
4. 現在までに出来ていること CG の映し出し マーカに対応した音声の再生 カメラ上に文字の表示 データ元 メタセコ素材! (http://sakura.hippy.jp/meta/) BowRoll (http://bowlroll.net/up/dl6192)
映し出す 5.1 CGの映し出しのプログラムメタセコイアデータを指定 実際に格納している場所を取得 3D を処理するレンダラー
マーカの検出 5.2 CGの映し出しのプログラム 3D モデル表示準備 ( マーカの種類判別 3D 変換行列取得 ) レンダラーに 3D 描画命令を送る
5.3 CG の映し出しのプログラム マーカ上に CG を映し出す
5.4 CG 映し出しの問題点 CG の半分しか映し出されない
5.5 解決策 原因 : メタセコイアで CG 作成時 ミラーリングを行った際に フリーズ作業を行っていない ミラーリング 左右片方を作り 左右対称の鏡像を反対側に映し出す機能 フリーズ作業 鏡像を実体化にする機能 ミラーリングした際 他ソフトで形を表示させるために必要な機能 メタセコイアで簡単なモデリング ( 人 ) (http://cg.xyamu.net/metasequoia/entry67.html)
6.1 音声再生のプログラム 音声再生手順 音源設定
6.2 音声再生のプログラム 音声再生 音声停止
6.3 音声再生の問題点 原因 : isdetect マーカを見つけたら True になる設定 各マーカに対応した isdetect を用意する必要がある
3Dモデル表示準備 ( 6.4 マーカの種類判別 マーカごとに音声を切り替えるプログラム 3D 変換行列取得 ) 検出したマーカの配列番号取得 patthiro=0; pattkanji=1 patthiro を認識したら isdetect[0]=true pattkanji を認識したら isdetect[1]=true
再生の操作 isdetect[0] patthiro を認識した時 6.5 マーカごとに音声を切り替えるプログラム mp[0] patthiro に対応した音再生 isdetect[1] pattkanji を認識した時 mp[1] pattkanji に対応した音再生
7.1 今後の課題 CG に動きを加える マーカを認識したら対応した文字が表示されるようにする CG をタッチしたら音声が鳴るようにする CG 作成
7.2 最終審査までのスケジュール 月 10 月 項目 CG 作成 (10 月 ~) 文字表示 11 月 CG の動き 12 月 タッチした際の動作最終審査
8. 開発環境
9.1 参考文献 参考サイト 6/4 IDEA*IDEA (http://www.ideaxidea.com/archives/2010/06/ikea_ar_catalog.html) 7/26 モバイル AR アプリ開発 超 入門 (http://www.atmarkit.co.jp/ait/articles/1110/24/news120.html) 8/27 NyARToolKit for Android (http://sixwish.jp/nyartoolkit/android/) 9/26 メタセコ素材! (http://sakura.hippy.jp/meta/) 10/1 Yahoo! 知恵袋 (http://detail.chiebukuro.yahoo.co.jp/qa/question_detail/q1186788751)
9.2 参考文献 参考サイト 10/11 逆引き Android 入門 (http://www.adakoda.com/android/000071.html) 10/13 メタセコイアで簡単なモデリング ( 人 ) (http://cg.xyamu.net/metasequoia/entry67.html) 10/15 BowRoll (http://bowlroll.net/up/dl6192) Metasequoia 初心者講座 (http://ktg.xii.jp/mqo/mqo-basic/mqobsc_001.html)
3.1 構想発表から現在までの変更点について 開発環境 構想発表中間発表
Processing とは Java 言語を簡略し グラフィックス処理に特化した言語 Java と Android のプログラムを作成することが可能 変更理由 : 参考文献が少ない ( 引用 :http://yasakawa.blogspot.jp/2012/02/processing.html)
3.1 NyARToolkit 加藤博一氏 ( 現奈良先端科学技術大学院大学教授 ) とワシントン大学 HITL(Human Interface Technology Lab) によって開発されたC 言語ライブラリ ARToolkit を参考に実装されたオープンソースのライブラリ ARアプリケーションが容易に作成可能 ARToolkit と違う点 画像サイズ無制限 ID マーカ判別機能など
4.2 問題点 2 CG に色が塗られていない
問題点 2 原因 : テクスチャファイルを格納していない テクスチャ CG の面に貼り付ける 2D 画像 ( 例 : 模様 色 顔など )
5.3 プログラムの説明 マーカ検出の変数設定 マーカの検出処理 マーカ区別に使用
5.2 プログラムの説明パターンファイル設定 patt[0]=patthiro patt[1]=pattkanji 音源設定
isdetect[0] patthiro を認識した時 5.5 プログラムの説明 mp[0] patthiro に対応した音再生 isdetect[1] pattkanji を認識した時 mp[1] pattkanji に対応した音再生
5.4 プログラムの説明 マーカの一致率が 60% を超えるか判定 patthiro を認識したら isdetect[0]=true pattkanji を認識したら isdetect[1]=true
3.1 NyARToolkit 加藤博一氏 ( 現奈良先端科学技術大学院大学教授 ) とワシントン大学 HITL(Human Interface Technology Lab) によって開発されたC 言語ライブラリ ARToolkit を参考に実装されたオープンソースのライブラリ ARToolkit と違う点 画像サイズ無制限 ID マーカ判別機能など
3.3 メタセコイアについて 拡張子.mqo 株式会社テトラフェイスが開発や提供をしている 3DCG 作成ソフト フリーソフトとして使用可能 サンプルデータ有 使用説明サイトも豊富 NyARToolkitに対応
パターンファイル設定 patt[0]=patthiro patt[1]=pattkanji 5.9 マーカごとに音声を切り替えるプログラム マーカに対応した順番で配置
http://harukasaigusa.blog116.fc2.com/blog-entry-21.html
1. はじめに 筒井浩平氏 Android 端末での AR アプリケーションの開発 ( 平成 23 年度卒業研究 ) AR 技術に関心を持った AR(Augmented Reality) 拡張現実 現実の環境から与えられる情報に コンピュータが作り出した情報を 付加し 補足の情報を与える技術 IDEA*IDEA (http://www.ideaxidea.com/archives/2010/06/ikea_ar_catalog.html)
1.1 AR について 手軽に作れそうなソフトはあるのか? 開発環境を整えなければいけない WEB カメラが必要 お金がかかる 誰でも簡単に AR を作ることができるソフトを開発したい! AR の仕組みについて勉強してみたい!!
1.2 イメージ図 ユーザ 1 グリーティングカード作成者 ユーザ 2 閲覧者 AR
2. 3 種類の AR 1 ロケーションベース AR GPS などから取得可能な位置情報を利用して情報提示を行う例 ) セカイカメラ 2 マーカ型ビジョンベース AR 決まった形の図形を認識することによって情報を提示する例 )IKEA のカタログ 3 マーカレス型ビジョンベース AR 現実の環境に実在する物体や空間そのものを認識 識別し それを基に提示位置を特定し情報を出現させる 例 ) てのりん
2.1 マーカ型ビジョンベース AR 決まった形の図形を認識することによって情報を提示する 表示位置を指定する画像 枠と枠外の色は不一致 線対称 点対称を避ける 工学ナビ (http://kougaku-navi.net/index.html)
3. AR マーカの仕組み 数値データ ( パターンファイル ) CG データ
3.1 パターンファイル ( 例 :patt.hiro) 数値化 パターンファイルの作り方 1 マーカを作る 2 専用のソフトを使い パソコンにつないだ WEB カメラで映す ARToolKit Marker Generator Online mk_patt.exe パターンファイル
3.2 NyID マーカ 3000 万以上のパターンが存在 直接数値情報を読み取ることができる パターンファイルが必要でない
4. グリーティングカード作成 閲覧の概要 データベース マーカ ID 番号 ユーザ 1 グリーティングカード作成者 マーカ ID 番号 ユーザ 2 閲覧者
4.1 作成者と閲覧者の機能 作成者 閲覧者 1 マーカとコンテンツの関連付け 写真選択 マーカ選択 フレーム選択 関連付けデータの 読み込み機能 2 サーバへのアップロード機能 マーカ認識とコンテンツの再生
4.2 作成者側実行画面
4.3 閲覧者側実行画面
5. 中間までの取り組み 月項目 7 月 8 月 9 月 マーカとコンテンツ関連付け機能の作成 マーカ認識とコンテンツの再生のシステム構築 10 月中間発表
6. 開発環境 Windows 7 OS 言語 Win J リ Java NyAR4psg Mqo Viewer Library for Processing 統合開発環境 ライブラリ E NyAR A
7. 参考文献 AR プログラミング Processing でつくる拡張現実感のレシピ ( 橋本直著 : オーム社 :2012 年 :) The Sixwish project (http://sixwish.jp/ar/marker/section01/) IT 用語辞典 e-words (http://e-words.jp/w/ar-2.html) (http://e-words.jp/w/are3839ee383bce382abe383bc.html) メタセコ素材! (http://sakura.hippy.jp/meta/) IDEA*IDEA (http://www.ideaxidea.com/archives/2010/06/ikea_ar_catalog.html)
7. 参考文献 工学ナビ (http://kougaku-navi.net/index.html) Google play (https://play.google.com/store/apps/details?id=com.tonchidot.sekaic amera&hl=ja) (https://play.google.com/store/apps/details?id=com.kddi.ar.satch.sat chviewer) アットマーク アイティ (http://www.atmarkit.co.jp/ait/articles/1109/26/news136.html)