スマートグラスを活用した遠隔作業支援システム InfoMesh Visual Navigator 株式会社 NTT データニューソン 201805 2018 NTT DATA NEWSON CORPORATION
現在の現場作業における問題と背景 人手不足 業務の多種多様化 事業の海外展開 少子高齢化により労働量が減る 労働スタイル変化でアルバイト増 多品種少量戦略 ニーズ多様化 に対応する作業方法の変化 物理的な移動時間 工数が負担 異言語での的確な指示 技術伝承 教育不足 作業に長けた人が減り 現場作業者のレベルに左右され 安定した結果が確保できない 機械 設備の点検 工場 プラント 社会インフラ 建設現場の 作業状況確認 作業内容の変化 紙からデジタルへ 画像や動画の有効利用 スマートデバイス操作から手を使わ ない操作へのレベルアップ要求 物流倉庫 ピッキング作業 対象となる具体的な業務 2018 NTT DATA NEWSON CORPORATION 2 医療 介護 スピードUPの要求 素早い状況判断を求められる 作業量増大 スケジュール確保 保険査定
現場作業の共通課題と解決手段 数ある問題点の具体的な課題については ウェアラブルデバイスの利用で解決が可能です 課題 解決手段 現場 作業者 大量の紙マニュアルを見て作業するのは大変 早期のスキル向上が必要 電子マニュアルの閲覧作業状況のリアルタイム共有 ウェアラブル ハンズフリーで効率化 通信して作業可視化 突発作業にすぐ対応できることが必要 遠隔からのサポート授受 二人組み作業が必要 単独での着手完了報告 / 記録 管理 監督者 現場状況の把握ができない ベテランの配置の最適化技術伝承が必要 海外工場の立上げが難しい 現場状況の吸い上げ / 可視化遠隔からのサポート実施 ICT サービス 2018 NTT DATA NEWSON CORPORATION 3
InfoMesh Visual Navigator の概要 作業現場 工事現場 設備メンテナンスなど に赴いて 作業実施者がウェアラブルデバイス スマートデバイスを利用することで 作業の支援と 作業状況を共有し監督者が遠隔からサポートすることを可能にします https://www.newson.co.jp/solution-service/solutions/mobile-solution/ivn.html 2018 NTT DATA NEWSON CORPORATION 4
対応デバイスについて 作業環境や作業者の業務 状況に応じて ウェアラブルデバイス および スマートデバイス を選択可能 英語コマンド も可能 ウェアラブルデバイス 手が塞がる場合 手を使わずとも操作できる ハンズフリー対応のユーザインタフェース 音声コントロール 写真撮って マニュアル 各種スマートグラスが使えます お問い合わせください スマートフォン タブレット ジャイロマウス 頭の傾き スマートデバイス 首振り Page.1 専用アプリ Android でサーバー通信 手で操作 する以外はウェアラブルと同様 2018 NTT DATA NEWSON CORPORATION ジェスチャーコントロール 5 Page.2
このソリューションで実現できること 作業者単独での作業証跡の取得 見たまま撮影 ストレージ 一人のベテランで複数作業者サポート 作業拠点 1 作業場所の移動を削減 自身で作業証跡を取得できるので同行者が不要 紙へのチェックやデジカメでの写真撮影が不要 不慣れな作業者単独での現場作業 質問 回答 作業拠点 X いろんな作業場所の作業者を管理できる 不明点を質問し サポートを受けて単独で作業 様々な方法で回答 & サポート 不慣れな作業者の教育 マニュアルを見ながら現場作業 マニュアル ベテランの手つきの撮影 ストレージ 動画保管 ストレージ 手を使わずマニュアル閲覧 ( 両手があく 目線が一定 ) その時必要なマニュアルを送付 ベテランの手つきを見ながら作業できるので覚えやすい 2018 NTT DATA NEWSON CORPORATION 6
ご利用時のメリット 利用事例 : 大型機械保守における 異常発生時の素早い復旧対応 現地作業者 サポートセンター センターから支援を受けて すぐに対処が可能 両手が自由なため 狭小部などでも作業可能 マニュアルを画面に表示できるため 現場への持ち込みが不要に 操作習得が容易な音声操作 ネットワークが一時切れても作業継続が可能 現地出張せずに対応を可能に 現場と同じ目線で映像 画像を共有 動画への直接マーキング等 指示方法が豊富 誰が いつ 何をしたかを自動登録 静止画や動画の録画による作業確認が可能 2018 NTT DATA NEWSON CORPORATION 7
主な機能 (1) タスク管理とマニュアル閲覧 タスク管理 作業者はハンズフリーで作業タスクの着手 / 完了を管理することができます 作業の着手 / 完了はリアルタイムで管理者に共有されます マニュアル閲覧 電子マニュアル ( 動画および静止画 ) をハンズフリーで閲覧可能です 必要なマニュアルを後からダウンロードして利用することが可能です 動画マニュアル 画像マニュアル Page.1 Page.5 次のタスク画面へ 首振り 首振り タスク 1 が完了 タスク 2 が完了 タスク4 タスク5 タスク1 完了通知 作業者 1 作業者 2 作業者 3 タスク1 13:10 完了 タスク2 13:17 完了 タスク3 マニュアル タスク 2 完了通知 ストレージ マニュアル送付 2018 NTT DATA NEWSON CORPORATION 8
主な機能 (2) 証跡取得とヘルプ要求 証跡取得 ( 写真 動画 ) 作業者はハンズフリーで証跡写真 動画を撮影 保存 共有することが可能です 取得した証跡写真 動画は自動的にサーバにも保管され 後から参照可能です ヘルプ要求 作業者は不明な作業箇所について目線写真を用いてベテランにコメントを要求できます コメントにはテキスト スタンプ 手書きが利用可能です このケーブルを抜く 見たまま撮影 作業完了 証跡を取得 見たまま録画 見たまま撮影 作業箇所で不明点がある 触るな 2 書込 その場で確認依頼 1 目線写真を共有 保存ストレージ 3 書き込み画像を返信 2018 NTT DATA NEWSON CORPORATION 9
主な機能 (3) 映像 音声ストリーミングとテキストメッセージ 映像 音声ストリーミング 作業者の目線映像 音声を監督者にリアルタイムで共有することができます 共有された映像にマーカを付けて細かい指示出しが可能です 別の監督者へ映像を転送し 複数人が同時に作業状況を確認することも可能です 専門分野の異なる複数の監督者により 幅広い確認観点での支援が可能です テキスト 画像メッセージ 監督者は任意のタイミングで作業者にメッセージを送信することができます 全員へメッセージ すぐに作業を中断して帰社してください 個別メッセージ 追加で隣の機械のメンテもお願いします わからないので 管理者に見て欲しいです 了解 マーカーで丸をしたところに注意してつなげてください 目線写真を共有 音声通話 スマートグラスでメッセージをハンズフリー確認 目線方向ディスプレイで確認漏れ低減 2018 NTT DATA NEWSON CORPORATION 10
その他の機能 オフライン機能 ネットワークに接続されていない環境下においても各種機能 ( タスク管理 マニュアル閲覧 証跡取得 ヘルプ要求等になります ) を利用可能です オフライン時に取得したデータは ネットワーク接続時にサーバへアップロードされます 音声メモ機能 作業の完了報告だけでなく 音声メモを録音して監督者へ通知することが可能です 証跡やヘルプ要求などの写真に 音声メモを付与して送付することも可能です 管理運用機能 遠隔作業支援を実施するために 利用者認証 ユーザ登録 ( 作業者 監督者 ) 及び作業者 監督者の紐付け タスク登録及び作業者へのタスク割り当て マニュアル登録 及びタスク マニュアルの紐付け等が行なえます ブラウザからの GUI 操作で登録 紐づけ 割り当てが可能 管理者からのカメラ操作 映像録画 コメント付き画像送信機能 遠隔にいる監督者から カメラの撮影 ズームを行うことが可能です 監督者側の操作でストリーミング映像を録画し 後から作業の様子を振り返ることが出来ます ヘルプ要求以外の画像 ( 証跡写真やストーミング中の撮影写真 監督者端末に保存された画像 ) に対して コメントを付けて送信することが可能です タスクマニュアルもブラウザへの画像ドラッグ & ドロップで登録可能 2018 NTT DATA NEWSON CORPORATION 11
適用事例 適用業務とその効果 対象業務 機械 設備の点検 ( 工場 プラント 社会インフラ ) 物流倉庫ピッキング作業 医療 介護 建設現場の作業状況確認 保険査定 単独で作業完結可能な機能の提供 現状リアルタイム把握と業務スピードアップ 熟練者からの技術伝承 教育 アルバイト等 非習熟者の有効利用と的確な指示 海外事業展開時の現地メンバー対応 移動ロス減 2018 NTT DATA NEWSON CORPORATION 12
システム構成 : システム構成概要 クラウドもしくは DMZ 遠隔作業支援サーバ + ストリーミング中継サーバ デバイス 外出先作業現場 社内 LAN 管理端末 無線 AP 作業エリア LAN インターネット WAN サポートエリア 管理端末 外出先からサポートする場合 サーバ / クライアント端末筐体スペック台数備考 サーバ 遠隔作業支援サーバ OS:Linux 7, CPU:2コア以上 メモリ :8GB 以上 1 ストリーミング中継サーバ クライアント 管理端末 PC/ ノートPC タブレット デバイス Android スマートグラス Android スマートフォン OS:Linux 7, CPU:2 コア以上メモリ :8GB 以上 OS:Windows または AndroidOS 6.0 メモリ :4GB 以上 Web ブラウザ :Chrome 1 遠隔作業支援サーバと同筐体可 任意 OS:AndroidOS 4.0 任意 動作確認済スマートグラス : Vuzix M100 2018 NTT DATA NEWSON CORPORATION 13
トライアルについて 有償トライアル (1 ヵ月を標準とします ) スマートグラス ソフトウェア環境をお貸出しし 貴社現場にてご利用いただくことが可能です クラウド型 ( インターネット経由 ) クラウド上に構築された遠隔作業支援サーバを利用 社内 LAN 上の管理 PC およびスマートデバイスへは インターネット経由でアクセス 社内 LAN 管理 PC インターネット クラウド 遠隔作業支援サーバ デモ型 ( 独立型 最小構成 ) ノート PC 等 1 台の PC に遠隔作業支援サーバを構築し その PC を管理 PC としても利用し 独立した無線モバイルルーターにスマートデバイスを接続 * 機器の都合上 実施できない場合があります 独立ネットワーク 管理 PC/ 遠隔作業支援サーバ 2018 NTT DATA NEWSON CORPORATION 14
お問い合わせ先 モバイルソリューション担当 smartglass@newson.co.jp 2018 NTT DATA NEWSON CORPORATION