最新 IT 技術のプラント保修 解体 作業支援への応用の可能性 京都大学大学院エネルギー科学研究科石井裕剛 (hirotake@ieee.org) Outline プラント運転 保修 解体の現状 拡張現実感技術 環境計測 認識技術 モバイルデバイス技術 作業効率化から人間強化へ 今後の展望 1
自己紹介 最近の主な研究テーマ 知的オフィス作業のプロダクティビティ維持 向上 環境配慮行動促進 拡張現実感のプラント解体作業支援への応用 拡張現実感関係の共同研究 拡張現実感のプラント解体作業支援への応用 ( 日本原子力研究開発機構 ) 広域トラッキング技術の開発 ( ノルウェー エネルギー技術研究所 ) 2
本講演の概要 プラント運転 保修 解体の現状 拡張現実感技術 拡張現実感技術とは? 当研究室の過去の研究事例紹介 環境計測 認識技術 RGB-D カメラ 画像処理 点群処理等々 モバイルデバイス技術 HMD タブレット等々 作業効率化から人間強化へ 今後の展望 3
プラント運転 保修 解体の現状 石油 ガス 化学 発電などのプラント 新規に設備投資をすることに限界 メンテナンスによる設備延命が必要 特に発電プラントは コスト削減が今まで以上に急務 さらに 熟練者が減少 そもそも働ける日本人が減ってきている 人材が流動的 少人数 非精鋭 厳しい条件下での運用になる 4
これまでの IT 導入アプローチ プラント運転 自動化が進展 保守 解体 メンテナンス情報 設備情報を電子化して一元管理 インターネット イントラネットで遠隔連携や遠隔保守 人間生活工学研究センター石油プラント保守点検支援 東芝遠隔運転保守サービス (e-topstm) など これまでのIT 化は 主に電子化 ネットワーク化 情報の共有 時間 場所の隔たりを埋める 作業の効率化 これからは 人間の能力増強が必要 5
拡張現実感とは 実世界映像 合成された映像 6 コンピュータ生成仮想物体 HMD 等による参照 コンピュータで生成した仮想の物体や情報を あたかも現実の世界に存在するかのように見せることで 現る実の世界を拡張する技術
拡張現実感とは どの位置や方向から見ても 情報が現実世界のある定まった位置に存在するように見える 短時間で直観的に情報提供を行えるようにするためのインタフェース設計のアイデアの一種 7
拡張現実感の採用により可能になること 1. 現実世界における3 次元的な位置や方向を分かりやすく示すことができる 作業対象物の発見支援 危険箇所の気づき支援 目的地までのナビゲーション 2. 通常は見えないものを見えるようにできる 3. 現実世界と仮想世界 (3 次元 CAD データ等 ) の間の比較を容易にできる 8
3 次元的な位置や方向の提示 作業対象物の発見支援 UP HMD 紙のマニュアル 拡張現実感 作業効率の向上 ヒューマンエラーの減少 9
3 次元的な位置や方向の提示 危険箇所の気づき支援 目的地までのナビゲーション 危険箇所の表示 作業現場までのナビゲーション 10
拡張現実感の採用により可能になること 1. 現実世界における3 次元的な位置や方向を分かりやすく示すことができる 作業対象物の発見支援 危険箇所の気づき支援 目的地までのナビゲーション 2. 通常は見えないものを見えるようにできる 建築物設計案の可視化 放射線の可視化 物の透明化 3. 現実世界と仮想世界 (3 次元 CAD データ等 ) の間の比較を容易にできる 11
建築物設計案の可視化 12
拡張現実感の採用により可能になること 1. 現実世界における3 次元的な位置や方向を分かりやすく示すことができる 作業対象物の発見支援 危険箇所の気づき支援 目的地までのナビゲーション 2. 通常は見えないものを見えるようにできる 建築物設計案の可視化 放射線の可視化 物の透明化 3. 現実世界と仮想世界 (3 次元 CAD データ等 ) の間の比較を容易にできる 13
物の透明化 構造物内部の可視化 配管の内部状態の可視化 14
拡張現実感の採用により可能になること 1. 現実世界における3 次元的な位置や方向を分かりやすく示すことができる 作業対象物の発見支援 危険箇所の気づき支援 目的地までのナビゲーション 2. 通常は見えないものを見えるようにできる 建築物設計案の可視化 放射線の可視化 物の透明化 3. 現実世界と仮想世界 (3 次元 CAD データ等 ) の間の比較を容易にできる 現場と管理データの間の異なっている箇所の発見支援 15
現実世界と管理データとの比較 データベース上の CAD 実世界の配管 16
拡張現実感を用いた解体実施支援システム 17
業監督解体作業を実施する際の問題点 切断箇所のマーキング時 どこ? 切るの作作業終了時 正確な記録が面倒 難しい 作業の反映 紙面からデータベースへの転載が面倒 指示書 18
切断カメラ禁止箇業所監 督小型パソコン所解体対象機器 ARを用いた解体情報参照支援 重畳画像 作カメラ 切断箇カメラの映像 3 次元 CAD モデル 19
ARを用いた解体進捗記録支援 作業開始前の解体対象の状態 重畳画像 解体対象の現状と 3 次元 CAD モデルとを比較し 異なっている箇所を電子ペンで指示 20
動作例 21
拡張現実感を用いた解体準備支援システム 22
解体作業計画を立てる際の問題点 足場 グリーンハウス設置位置決定 必要資材量の見積もり 作業内容の伝達 この場所に足場を置いてあの場所に手が届く? どのくらいの資材が必要? どうやって説明する? 23
AR を用いた解体作業計画立案支援 グリーンハウスや足場の設置を現場で視覚的に検討可能 ( 作業手順書や作業用要領書の作成を支援 ) マーカ ( カメラ位置推定用 ) マーカ板 マーカ板操作者 解体作業現場 カメラ タブレット PC 三脚 システム操作者 タブレット PC 画面上に表示される映像 ( 足場の重畳表示 ) 24
動作例 25
環境計測 認識技術 拡張現実感等のアイデアは昔から存在 重要なのはコンテンツ 安価にContext awareにする技術が台頭 環境計測技術 RGB-D カメラ レーザスキャナ DTAM 環境認識技術 画像からの物体認識 点群からの物体認識 26
RGB-D(RGB-Depth) カメラ 通常の赤 緑 青の色情報に加えて 各画素の奥行情報をリアルタイムに取得 27
RGB-D カメラが安価に RGB-D カメラ自体は昔から入手可能 但し高価 ( 数百万円 ) Microsoft Kinectの販売により安価に入手可能 ( 数万円程度 ) インタラクションの研究者が競って RGB-Dカメラを用いて研究 移動車 者に搭載することにより環境形状 色を取得 28
RGB-D SLAM Real-time appearance-based SLAM for RGB-D sensor (I3S CNRS, France) http://www.youtube.com/watch?v=ppvqb2euuck 29
レーザスキャナによる環境点群の取得 2Dレーザスキャナ カラーカメラ 電動雲台 計測点群例 30
GPU コンピューティング 高性能 GPU の登場により計算能力が安価に 画像処理で高性能 GPU が使えるようになった アルゴリズムの処理速度 > アルゴリズムの安定な実行に必要な処理速度 リアルタイムで実行可能なアルゴリズムが増加 SLAM(Simultaneous Localization and Mapping) カメラ 1 台でカメラ自身の位置 方向の推測と環境の密な 3 次元点群の取得を実現 31
DTAM マーカレス & 非平面状 & 同時に形状計測 カメラのみで 3 次元の形状情報をリアルタイムで計測 32 R. A. Newcombe, S. J. Lovegrove and A. J. Davison, Imperial College London, UK http://www.youtube.com/watch?v=df9whgibcqa
画像や点群からの物体認識 33 Wonwoo Lee, Nohyoung Park, Woontack Woo : Gwangju Institute of Science and Technology, Korea http://www.youtube.com/watch?v=tgnocccms7u
フリー & オープンソースのライブラリ PCL(Point Cloud Library) VTK (Visualization Tool Kit) PCL and ParaView Demonstration http://www.youtube.com/watch?v=bzbqxcbvhw0 34
モバイルデバイス iphone & ipad Google Glass 35 急速に普及 (iphone は 2007 年 6 月 ipad は 2010 年 4 月 ) Google Glassは来春には販売の予定 試験的に専門家が用いるのと一般の人が大量に使い始めるのとは大きく違う
つまり 技術が成熟してきた 情報提示デバイスとしてiPadや超軽量 HMD 環境計測 認識技術が新しい段階を迎えようとしている 情報の取得 更新のタイムサイクル 環境モデリングの頻度 詳細度 中長期サイクルでは今までも行われてきた プラント設計時の設計情報 設備保守経歴情報 => 準リアルタイム更新 手作業のため抜け落ちの危険性 点検時の現場映像 => 蓄積のみ ( つかえそうで使えない ) 36
これからの支援環境 情報の取得 更新が秒単位 + 状況理解が加わる プラント運転 保守 解体のやり方が大きく変わる可能性がある 状況依存ガイダンス 必要な時に必要な形で情報が提示される データベースを検索 という意識は無くなる? 37
今後の展望 日本では エンターテインメントへの応用が主 プラントの運転 保守 解体に本格的に利用しようとする動きが非常に少ない 情報漏えいを恐れて ipad の利用を禁止しているプラントもある 海外では いくつかプロジェクトが動いている ManuVAR (EU-funded d project) Leonardo da Vinci Projects (EU-funded project) Metaio, Fraunhofer 等の企業 研究機関 日本はどうすべきか? 38