つき 点 群 処 理 における ポイントベースドレンダリングとその 活 中 川 雅 史 ( 芝 浦 業 学 ) - 点 群 データ 処 理 の 概 要 と 課 題 - ポイントベースドレンダリングとその 活 - レンダリング - クラスタリング - アブストラクション - そのほか - まとめ
般 的 な 点 群 処 理 の 流 れ ハードウェア データ 取 得 較 的 簡 単 点 群 処 理 における 課 題 位 置 合 わせ 実 質 的 な 作 業 が 多 く 変 実 質 的 な 作 業 が 多 い ソフトウェア 可 視 化 3Dモデリング 較 的 簡 単 AR マッピング BIM/CIM 3Dプリント ニーズ ハードウェアとニーズは 充 実 してきたが, ソフトウェアがなかなか 追 い 付 いていない 内 容 改 善 のキーワード レンダリング クラスタリング アブストラクション
背 景 的 点 群 はそのままレンダリングすることが 可 能 しかし, 各 種 の3D 処 理 には 適 さないことが 多 い この 部 分 が 変 点 形 式 - ドロネー 三 形 分 割 変 換 - 編 集 形 式 - ポリゴン -TIN - NURBS 点 から への 変 換 に 関 して 点 群 データ 取 得 3Dモデリング レンダリング 処 理 の 順 番 を 変 えてみる 点 群 データ 取 得 レンダリング 3Dモデリング ノートPCレベルで 処 理 可 の 表 裏 判 定 が 容 易 ポイントベースドレンダリング 技 術 任 意 視 点 からのスケッチ 可 空 間 フィルタリング 技 術 汎 性 点 群 体 の 質 を 落 とさず, 点 群 処 理 を 軽 くする
点 群 レンダリングの 課 題 透 過 効 果 問 題 と 遠 近 効 果 問 題 Rendered point cloud from a viewpoint (Visualization quality depends on a viewpoint) Occlusion Far from a viewpoint = Dense points Near from a viewpoint = Sparse points 透 過 効 果 問 題 Caused by rendering hidden points among near-side points 遠 近 効 果 問 題 Caused by distance differences from the viewpoint to scanned points 任 意 視 点 からのスケッチは 困 難
Panoramic layered range image Point cloud projection in Layered image Measured point (X,Y,Z), (R,G,B), (Intensity) Projected point (X,Y,Z), (R,G,B), (Intensity) Cylindrical, Spherical, Cubic model, etc.. From 3D space to panoramic image space Azimuth Eleva ation Panorama model Multi-layered range image Point cloud to range image (layered range image) Simplify viewpoint translation Simplify filtering Simplify visualization
Pixel-selectable averaging filter using distance values Point cloud interpolation Xo Ro Real surface P1 P2 P3 P new1 P4 P5 遠 近 効 果 問 題 の 推 定 Near from a viewpoint= Sparse points Far from a viewpoint = Dense points No data space Range data Xt Rt P9 P new2 P10 P8 P7 P6 Generate a new point P new* 透 過 効 果 問 題 の 推 定 Hidden points are visible among near-side points
出 例 (1): 遠 近 効 果 問 題 の 解 決 Input 然 物 物 へ 同 時 に 適 可 能 Output
出 例 ２ 透過効果問題の解決 Outdoor建物デ タへの適 Outdoor建物データへの適 Input Output 五稜郭データセット 原データ提供 リーグルジャパン データ処理 芝浦 業 学 Side looking
出 例 (3): 遠 近 + 透 過 効 果 問 題 の 解 決 Indoor+Outdoor 建 物 データへの 適 Input Output Side looking
Normal vector-based point clustering Range image (panoramic image) Azimuth levationazimuth E Point cluster extraction Histgram of normal vector The numer of point [pix] Each point has a normal vector (norx, nory, norz) -1.0 Normal vector 10 1.0 Ele evationazimuth Segments Integration or elimination Clusters Extracted surface (point clusters) Synchronization Clustering To improve accuracy.. Mincut Markov Network Fuzzy-clustering etc.
Point cloud rendering and clustering Point cloud clustering for 3D boundary extraction Input (1) Color:3D Normal vectors R, G and B were assigned as the X, Y and Z directions Edge:Ground boundary Rock walls Trees Input (2) Steps Slope
Indoor Mobile Mapping using TIMMS 3D scanned indoor space with Indoor mobile LiDAR Camera Trimble's Indoor Mobile Mapping System LiDAR Point cloud IMU Encoder Trajectory
Point cloud CAD data 660 million pts 85 view points 1271 polygons Point cloud Clustering & polygon extraction Extracted Polygon Estimated 85 viewpoints Overall result Z [m] Y [m] X [m]
Laser scanning for Bridge maintenance Hanekura-bridge bridge, Saitama VZ-400(RIEGL) Range up to 600m @ Laser Class 1 Measurement rate up to 122,000 pts/sec Field of View up to 100 360
属 性 情 報 の 取 得 とモデリング Geocoding & Reverse geocoding Real space Location Geocoding Document - Geo-tagged documents - Geo-tagged photos Reverse geocoding Map space Document Document Document Document
まとめ メッシュモデリングにより 可 視 化 を 実 現 点 群 処 理 の 課 題 作 業 ( 修 正 作 業 )が 多 い 規 模 データであるため 扱 いづらい 動 処 理 コストが 極 めて きい 遠 近 効 果 問 題 と 透 過 効 果 問 題 規 模 データへの 対 応 が 困 難 従 来 技 術 とその 問 題 点 点 群 データ 取 得 3Dモデリング レンダリング メモリ 浪 費, 処 理 量 が 莫 - 3D Delaunay 滑 らかなエッジ 問 題 - Random Sample Consensus (RANSAC) シードポイント 問 題 - Marching cube, Voxel modeling, の 表 裏 を 判 定 が 困 難 レンジ 画 像 上 でのサーフェスモデリング(スケッチ) 提 案 法 点 群 データ 取 得 レンダリング 3Dモデリング ポイントベースドレンダリング 技 術 + 空 間 フィルタリング 技 術 視 点 制 約 任 意 視 点 からスケッチは 困 難 ノートPCレベルで 処 理 可 の 表 裏 判 定 が 容 易 任 意 視 点 からのスケッチ 可 汎 性 多 視 点 2D 画 像 処 理 を 適 し, 精 度 を 落 とさず, 点 群 処 理 を 軽 くする 技 術