SHIBAURA Presentation

Size: px

Start display at page:

Download "SHIBAURA Presentation"

いとはにかどり
5 years ago
Views:

1 色つき点群データの透過効果問題と遠近問題を高速に解決する技術芝浦工業大学工学部土木工学科准教授中川雅史

2 色つき点群データの透過効果問題と遠近問題を高速に解決する技術点群データとは従来技術とその問題点新技術の特徴従来技術との比較想定される用途実用化に向けた課題企業への期待本技術に関する知的財産権, 問合せ先

3 点群 (Point cloud) とは実空間に存在する物環境人を,3D センサによってその表面形状を取得した 3D 点の座標の集まりのデータ点群を構成する各点は, 三次元座標値 (x,y,z) で定義される物体表面の位置形状を表す ( 計測できない物体内部は表現しない ) Laser scanner (LiDAR) 色つき点群サンプルデータレーザースキャナ+カメラ or ステレオカメラで, 点に彩色可能 = 色つき点群

4 点群 (Point cloud) とは実空間に存在する物環境人を,3D センサによってその表面形状を取得した 3D 点の座標の集まりのデータレーザースキャナやステレオカメラ等で取得できる ( 数万円 ~ 数千万円 ) 高額すぎて購入できる企業や大学が少なかった Laser scanner (LiDAR) 最近は, 安価なセンサが多く販売されている

5 色つき点群データの透過効果問題と遠近問題を高速に解決する技術点群データとは従来技術とその問題点新技術の特徴従来技術との比較想定される用途実用化に向けた課題企業への期待本技術に関する知的財産権, 問合せ先

6 点群処理における課題一般的な点群処理の流れハードウェアデータ取得比較的簡単位置合わせ実質的な手作業が多く大変ソフトウェア可視化 3D モデリング比較的簡単 AR マッピング BIM/CIM 3Dプリントニーズハードウェアとニーズは充実してきたが, ソフトウェアがなかなか追い付いていない内容改善のキーワードレンダリングクラスタリング抽象化

7 従来技術点から面への変換点群はそのままレンダリングすることが可能しかし, 各種の3D 処理には適さないことが多い点形式 - ドロネー三角形分割 - アルファシェイプ法など変換面形式 - ポリゴン - 不整三角網のメッシュ (TIN) - 非一様有理 B スプライン曲面 (NURBS) - CAD モデル

8 点群データの自動処理のためのアプローチ ( 従来技術その 1) 点群データ取得 3D モデリングレンダリング - 3D Delaunay メモリ浪費, 処理量が莫大滑らかなエッジ問題 - Random Sample Consensus (RANSAC) メモリ浪費, 処理量が莫大シードポイント問題面の表裏を判定が困難 - Marching cube, Voxel modeling, メモリ浪費, 処理量が莫大内外判定には, ポリゴンの穴を埋める作業が必要

9 点群データの自動処理のためのアプローチ ( 従来技術その 2) レンジ画像上でのサーフェスモデリング ( スケッチ ) An Interactive 3D Modeling System Based on Dense Point-Cloud θ φ Mercator projection Projection Perspective projection 画像 ( スケッチ ) 連動モデリング 3D モデリングが容易 Rapid mesh modeling 視点制約 Viewpoint = Scanning position 任意視点からのスケッチは困難 Near-far problem, Transparent effect

10 一般的なポイントベースドレンダリング透過効果問題と遠近問題 Rendered point cloud from a viewpoint (Visualization quality depends on a viewpoint) Occlusion Far from a viewpoint = Dense points Near from a viewpoint = Sparse points 透過効果問題 Caused by rendering hidden points among near-side points 遠近問題 Caused by distance differences from the viewpoint to scanned points 任意視点からのスケッチは困難

11 色つき点群データの透過効果問題と遠近問題を高速に解決する技術点群データとは従来技術とその問題点新技術の特徴従来技術との比較想定される用途実用化に向けた課題企業への期待本技術に関する知的財産権, 問合せ先

12 新技術の特徴従来技術との比較点群処理の課題大規模データであるため扱いづらい遠近問題と透過効果問題メッシュモデリングにより可視化を実現手作業 ( 修正作業 ) が多い自動処理コストが極めて大きい大規模データへの対応が困難従来技術とその問題点点群データ取得 3D モデリングレンダリング - 3D Delaunay - Random Sample Consensus (RANSAC) - Marching cube, Voxel modeling, レンジ画像上でのサーフェスモデリング ( スケッチ ) メモリ浪費, 処理量が莫大滑らかなエッジ問題シードポイント問題面の表裏を判定が困難視点制約任意視点からスケッチは困難新技術の特徴点群データ取得レンダリング 3Dモデリングポイントベースドレンダリング技術 + 空間フィルタリング技術ノートPCレベルで処理可面の表裏判定が容易任意視点からのスケッチ可汎用性高多視点 2D 画像処理を適用し, 精度を落とさず, 点群処理を軽くする技術

points 透過効果問題 Hidden points are visible among near-side

13 成果の概要 (1) 遠近問題と透過効果の同時解消 ( 建物データへの適用 ) 遠近問題 Near from a viewpoint= Sparse points Far from a viewpoint = Dense points 透過効果問題 Hidden points are visible among near-side points INPUT(colored points) OUTPUT(colored points ) Side looking

14 成果の概要 (2) 遠近問題と透過効果の同時解消 ( 屋内外データへの適用 ) INPUT(colored points) 遠近問題 Near from a viewpoint= Sparse points Far from a viewpoint = Dense points 透過効果問題 Hidden points are visible among near-side points OUTPUT(colored points ) Side looking

15 Panoramic layered range image Point cloud projection in Layered image Measured point (X,Y,Z), (R,G,B), (Intensity) Projected point (X,Y,Z), (R,G,B), (Intensity) Cylindrical, Spherical, Cubic model, etc.. From 3D space to panoramic image space Azimuth Elevation Panorama model Point cloud to range image (layered range image) Multi-layered range image Simplify viewpoint translation Simplify filtering Simplify visualization

16 Pixel-selectable averaging filter using distance values Point cloud interpolation Xo Ro Real surface P1 P2 P3 P new1 P4 P5 遠近問題の推定 Near from a viewpoint= Sparse points Far from a viewpoint = Dense points No data space Range data Xt Rt P9 P new2 P10 P8 P7 P6 Generate a new point P new* 透過効果問題の推定 Hidden points are visible among near-side points

17 自然物人工物へ同時に適用可能 Part of the point cloud image after a viewpoint translation Part of the point cloud image after a filtering

18 オリジナルデータ以上の画質で点群表示が可能 Original point cloud Spatial resolution: 0.02 [deg] Enhanced point cloud

19 新技術の特徴のまとめ従来技術手作業 ( 修正作業 ) が多い自動処理コストが極めて大きい大規模データへの対応が困難新技術ほとんど自動化自動処理コストが小さい大規模データへ対応済みそのほかの特徴 - 手作業で作成されるCADやCGと比較して高臨場感な映像 (3D 座標値付き ) ( 実測データを直接扱い, 情報劣化もほとんどないため ) - 短期間かつ低コストで点群処理可能 ( モデリング & テクスチャマッピング作業が不要なため ) - すでに, 測量分野から有用性に関する評価をいただいている測量地理空間情報技術奨励賞,2014 応用測量論文奨励賞,2013 宮地杭一記念賞, 芝浦工業大学, 測量技術の高度化,2012 日本写真測量学会学会奨励賞,2011

20 色つき点群データの透過効果問題と遠近問題を高速に解決する技術点群データとは従来技術とその問題点新技術の特徴従来技術との比較想定される用途実用化に向けた課題企業への期待本技術に関する知的財産権, 問合せ先

21 想定される用途現在の点群の応用分野 + 一般向けの応用製造 ( 自動車, 造船, 食品など ) 部品設計品質管理工業検査部品の3 次元 CADモデル作成 3Dアニメーション (CG 作成支援 ) 3Dシミュレーション 3Dプリントロボット自律移動ロボット測量, 地理情報システム (GIS) 数値標高モデル (DEM) の生成 3D 地図の生成土木台帳作成,CIM 全般建築 BIM 全般文化財文化財の記録, 損壊状況の把握医療医用画像処理での活用

22 色つき点群データの透過効果問題と遠近問題を高速に解決する技術点群データとは従来技術とその問題点新技術の特徴従来技術との比較想定される用途実用化に向けた課題企業への期待本技術に関する知的財産権, 問合せ先

23 現状の点群処理技術 ( 商業ベース ) ここまでの処理で, このようなデータ = エンドユーザーがデータを十分に利活用しづらい CG な建築景観考古地形図 3D 点群計測膨大なデータ量が課題間引き不規則なノイズが課題ノイズ除去 3D モデリング CG 可視化工業計測だいたいの中小企業でも自動処理ができる ( と言われている ) 半自動 ( 大幅な手編集が必要 ) 時間がかかる CG 的な品質が限界

24 企業 ( 半自動 ) ソフトウェア企業 ( 自動処理 ) ビジネス的有用性 & 従来技術と比した優位性複雑な計測対象でも, リアルに高速処理できる 3D 点群レンダリング 3D 点群計測測量コンサル, 中小サービス業 N 社 ( ただし, 製品検査用 ) 3D スキャナベンダ膨大なデータ量が課題間引きソフトウェア P, ソフトウェア R K 社,T 社不規則なノイズが課題ノイズ除去単純な直線曲面で描きづらい物体を 3D 画像として扱える ( 完全自動処理で ) 手動編集が課題 3D モデリング 3D 点群レンダリング CG 制作会社このレベルの自動化を芝浦工大発で可能ソフトウェアS ソフトウェアL G 社高性能なソフト &GPUが必須 T 社視点移動の再現はできない. 複雑な空間補間処理 G 社 CG 可視化 2D 画像上で 3D 計測も可能 CAD 計測精度を落とさない CG な建築景観考古地形図工業計測実写な工業建築景観考古地形ソフトウェア開発と比較して, ハードウェア開発が大幅に先行している背景があるため

25 1 計測サービス上流から下流までをカバー想定される業務体制オンデマンドサービスによって, 高速自動処理の恩恵を低リスクで最大化可ユーザー: 測量, 工業計測, 文化財, 建設, 国内に中小企業が複数あり取り込めるユーザー数国内展開必要単価大開発コスト大営業コスト大縄張りリスク大維持コスト初期投資額 5000 万円 ~ 特にセンサ費 2 ソフトウェア販売点群データ処理ソフトそのものを販売ユーザー: 測量, 工業計測, 文化財, 建設, 海外企業が国内より多い関連? サポートセンターの充実 3 プラグイン販売既存ビューワへのプラグイン販売 IE,Opera,Firefox, ipad, スマホ, 3D studio, Autocad, 4 オンデマンドサービスユーザーがデータを Upload, 処理結果を DL 論文校正サービスのようなイメージ衛星画像処理で前例あり( 無料サービス ) 無人化された24 時間業務最低限の機材投資発注の敷居が低い海外展開可能小小小隙間度が大ユーザー数単価 = 売上はそれほど変わらない? 100 万円 ~

26 実用化に向けた課題論文化しにくい領域は未実施点群処理について大幅な自動化が可能なところまで開発済み航空 (ALS) 車載(MMS) 地上計測による実データで検証済み BIM/CIMへの新技術提案 ( 論文をいくつか発表済み )? IFCへの対応 (IFCの動き方次第) 高速化のチューニング超大規模データ処理の未実施現在の実績 :10 億点 ( 一般的な大規模データ ) オンデマンドサービス化ユーザーがデータを Upload, 処理結果を DL 論文校正サービスのようなイメージ衛星画像処理で前例あり( 無料サービス ) 無人化された24 時間業務最低限の機材投資発注の敷居が低い

27 色つき点群データの透過効果問題と遠近問題を高速に解決する技術点群データとは従来技術とその問題点新技術の特徴従来技術との比較想定される用途実用化に向けた課題企業への期待本技術に関する知的財産権, 問合せ先

28 企業への期待多様な実施例の蓄積冗長性の検証分野横断領域での展開 What 3Dデータ処理支援 When 2014 年度 ~ How much 資本金 100 万円 ~ 可強み業務の無人化弱み営業力 How Webサービス Who 発明者, 芝浦生企業点群活用の高度化 Why 3Dサービスの普及 Where どこでも可 Whom 建設, 環境, 工業, 一般ユーザー業務の 24h 化機会市場拡大セキュリティ脅威データ量の増大 - BIM/CIM の技術を持つ, 企業との共同研究を希望 - 建設分野以外にも適用可能 - すでに点群処理に課題があると考えている場合は, 本技術の導入が有効

29 色つき点群データの透過効果問題と遠近問題を高速に解決する技術点群データとは従来技術とその問題点新技術の特徴従来技術との比較想定される用途実用化に向けた課題企業への期待本技術に関する知的財産権, 問合せ先

30 色つき点群データの透過効果問題と遠近問題を高速に解決する技術本技術に関する知的財産権発明の名称 : 他視点閉曲面画素値補正装置, 他視点閉曲面画素値補正方法, 利用者位置情報出力装置, 利用者位置情報出力方法出願番号 : 特願出願人 : 芝浦工業大学発明者 : 中川雅史, 黒木雅人問い合わせ先芝浦工業大学工学部土木工学科中川雅史 mnaka@shibaura-it.ac.jp 産学官連携研究支援課片野陽子 i028778@ow.shibaura-it.ac.jp TEL: ,FAX:

geoinformatics

geoinformatics つき点群処理におけるポイントベースドレンダリングとその活中川雅史 ( 芝浦業学 ) - 点群データ処理の概要と課題 - ポイントベースドレンダリングとその活 - レンダリング - クラスタリング - アブストラクション - そのほか - まとめ般的な点群処理の流れハードウェアデータ取得較的簡単点群処理における