開発技術を点検現場・実証現場につなぐ

Size: px

Start display at page:

Download "開発技術を点検現場・実証現場につなぐ"

ゆきかわらい
5 years ago
Views:

1 産総研人工知能セミナー NEDO インフラ維持管理更新等の社会課題対応システム開発プロジェクト 2 イメージング技術を用いたインフラ状態モニタリングシステム開発道路構造物ひび割れモニタリングシステムの研究開発道路構造物ひび割れ検出サービスの研究開発国立研究開発法人産業技術総合研究所知能システム研究部門コンピュータビジョン研究グループ永見武司

2 本日の内容 1. 背景 2. 開発技術について 3. データ収集について 4. 関連技術の開発 2

3 道路構造物点検における課題背景橋梁トンネル等の道路構造物の高齢化 ( 劣化損傷の増加 ) 近接目視点検義務の徹底 (1 回 /5 年 ) H26.7 より財政負担増土木技術者不足点検困難箇所顕現課題省コスト省力化高精度化補助代替点検を支援自動化する技術 NEDO: インフラ維持管理更新等の社会課題対応システム開発プロジェクト首都高技術株式会社東北大学産業技術総合研究所 3

4 課題解決のための取組み NEDO インフラ維持管理更新等の社会課題対応システム開発プロジェクト H26~28 年度 : 要素技術の研究開発 H29~30: 実証実験イメージング技術を用いたインフラ状態モニタリングシステム開発 (1) イメージング技術開発完全自動により画像データから 0.2mm 幅以上のひび割れを 80% 以上の確率で判別できる画像処理手法を開発し実証する (2) イメージング技術を用いたモニタリングシステムの実証実験 (1) の開発技術を用いてインフラ状態をモニタリングするシステムを構築し実環境下で実証評価を行い実用システムを開発する NEDO: インフラ維持管理更新等の社会課題対応システム開発プロジェクト首都高技術株式会社東北大学産業技術総合研究所 4

5 研究開発課題体制開発課題コンクリートのひび割れ自動検出技術パノラマ合成経年変化検出等の支援技術これらを統合したモニタリングシステムの開発技術シーズ首都高技術首都高各地交体等 Co 構造物のひび割れ損傷撮影東北大コンクリート構造物の調査解析および維持管理技術成果産総研画像解析技術異常検出技術および合成処理技術実用可能なひび割れモニタリングシステムの開発事業化により得られる効果事業化首都高での点検効率化点検受託事業の拡大コンサルティング事業 NEDO: インフラ維持管理更新等の社会課題対応システム開発プロジェクト首都高技術株式会社東北大学産業技術総合研究所 5

6 性能 : 研究開発の現状道路橋の床版橋台等を対象にした実験で検出精度 81% 開発技術某ソフト開発技術人 ( 専門技術者 ) 見落としも誤検出も少ない技術を開発汚れが目立つ対象でも人に近い識別能力を実現機能 : いつでもどこからでも利用可能ひび割れ検出機能をWebサービスとして実装処理が集中しても遅滞なく安定した結果出力が可能スケールアウト可能なシステム構造 6

7 開発システムのデモ映像 7

8 スマートフォン用アプリでの実験映像 8

9 ひび割れ検出技術の開発アプローチ 1. モデル計測アプローチ ( 昔 ) 生成モデルに基づく多数のルールを適用 2. 統計的パターン認識 ( 今 ) 微小領域の特徴をベクトル化し学習型識別器を構成して適用元画像特徴抽出物理的な量形体輝度値の二値化微分 etc.. ノイズを拾う二値化検出 ( 識別 ) 閾値処理途切れる微分特徴抽出近傍との関係に関する統計量ひび割れがもつ局所的な形状特徴をパターンとして抽出検出 ( 識別 ) 機械学習によるパターン ( ベクトル ) 識別集計 : ベクトル化 9

10 ひび割れ検出技術の概略特徴抽出ニューラルネット判定元画像ひび割れ = 谷形状と見立て特徴量を設計 CNN クラス分け結果 10

PROCESSING TIME [SEC] PROCESSING TIME [SEC] 処理速度向上の道のり ( マシンタイプと GPU 数 ) 600 500 400 300 200 100 0 NVIDIA K40

7GHz (12core) x 2, 60GB Memory 509 36 220 278 37 111 253 130 preprocess postprocess others 2015 205 38 158 143 79

xlarge8 (CPU 32 core), 488GB 600 600 600 500 400 300 preprocess postprocess others 2016 500 400 300 500 400 2016

11 PROCESSING TIME [SEC] PROCESSING TIME [SEC] 処理速度向上の道のり ( マシンタイプと GPU 数 ) NVIDIA K40 (GPU 2880 core) Xeon 2.7GHz (12core) x 2, 60GB Memory preprocess postprocess others GPU BOARDS 開発用計算機並列化複数ボード構成への適応を推進 Postprocess は Caffe を使用 NVIDIA GRID K520 (GPU 1536 core) G2.xlarge8 (CPU 24 core), 60GB Amazon Web Service 開発プログラムを EC2 インスタンス用に換装 NVIDIA K80 (GPU 4992 core) P2.xlarge8 (CPU 32 core), 488GB preprocess postprocess others GPU BOARDS GPU BOARDS GPU BOARDS 11

12 ひび割れデータの採取と模擬試験国内各地でサンプルデータを収集し教示用 / 評価用データを作成各種コンクリートひび割れ損傷写真ひび割れ幅調整機能を有する供試体を作成し安定した環境条件のもとに実験供試体による撮影条件の検討塩害凍害供試体光量不足アル骨コンクリート舗装ひび割れ斜め方向から撮影水濡れ 12

13 サンプルデータの管理 ( 失敗例 ) 目録方式ラベルフォルダ名サブフォルダサブサブフォルダ画像ファイル名枚数形式 img1 492A0868:492A JPEG img2 492A0878:492A JPEG A 橋橋台 492A2512:492A JPEG B 橋橋台 492A2436:492A JPEG B 橋桁 492A2476:492A JPEG ( その1) A 橋 492A2625:492A JPEG B 橋 492A2617:492A JPEG ( その2) A 橋 492A2669:492A JPEG 有 TN( その1) ひび割れ幅用 492A2736:492A JPEG 合成用 492A2734:492A JPEG 橋 492A2922:492A2935,IMG_0111:IMG JPEG 島 IMG_0149:IMG_ JPEG 線 492A2833:492A JPEG 川橋 IMG_0040:IMG_ JPEG 橋 IMG_0075:IMG_ JPEG TN( その2) 492A2775:492A JPEG 橋 492A2936:492A2962,IMG_0124:IMG_ JPEG A 橋 1(3.7m):38(4.56m) 38 JPEG G0A0003:7G0A0064,DSCN0275:DSCN JPEG 有 crack A2776:492A JPEG 一部有 2014_11_05_ TN IMG_0214:IMG_ JPEG 一部有 IMG_0210:IMG_ JPEG 2014_11_07_ 5D 492A2970:492A JPEG 一部有 6D IMG_0459:IMG_ JPEG 一部有 IMG_0674:IMG_ JPEG 有 _A 7G0A0015:7G0A PSD 有 mm IMG_2252:IMG_ RAW,JPEG 有 0.3mm IMG_2137:IMG_ RAW,JPEG 有 0.05mm IMG_2348:IMG_ RAW,JPEG 有 0.05mm( 広角レンズ ) IMG_2444:IMG_ RAW,JPEG 有ステレオ撮影もどき IMG_0004:IMG_ RAW,JPEG 13

14 画像ファイル命名ルール撮影時刻 _ 場所名 _ 元ファイル名等 _ 緯度 _ 経度 _ オプション 1_ オプション 2_ + 拡張子 YYYYMMDDhhmmss_buildingname_image000_nn.nnnnnnn_eee.eeeeeee_option1_option2.jpg 規則 : 1. 先頭から 5 項目 ( 撮影時刻場所名ファイル名等緯度経度 ) は順番を守る 2. 項目間は _ ( 半角アンダースコア ) でつなぐ空白は含めない 3. 項目内の文字列には _ ( 半角アンダースコア ) は使用しない 4. 撮影時刻は必須 5. 項目に書くべき情報がない場合は記載しないつまり前後アンダースコアだけ ( 場所名がない場合 IMG335_ ) 6. 時刻が秒単位では区別できない場合はミリ秒まで記載する ( 秒部分だけ 5 桁にする YYYYMMDDhhmmsssss 3~4 桁の場合は 0 埋めして 5 桁 ) 7. 緯度経度は百分率表記とし小数点以下 7 桁とする南緯西経は負号つき推奨事項 : 1. 場所名ファイル名等も半角英数で小文字を推奨する 2. 項目内で区切りが必要な場合は, ( 半角カンマ ) を使用する 3. オプションはオプション名と値を対とし = ( 半角等号 ) で区切る

15 サンプルデータの管理 ( なんとかやれてる ) ファイル名に全部 ( 時刻場所元ファイル名対象目的 ) 持たせる方式 15

16 ラベル付けツール当初 Photoshop を利用機能豊富でツールやモードの選択が煩雑専用アプリを製作数秒で起動同一画面上に編集窓とツールを配置専用アプリにひび割れ検出機能を追加ひび割れの塗り分けに研究成果を流用 16

17 ラベル付けツールのデモ 17

18 ひび割れ検出精度の考え方精度評価の観点 : 見落としと過検出赤色 : ひび割れを正しく検出した部分白色 : ひび割れだが検出されなかった部分 = 見落とし黄色 : ひび割れではないのに検出された部分 = 過検出 Recall( 再現率 ) Precision( 適合率 ) 正しく検出したひび割れ検出すべきひび割れ部位 = + 正しく検出したひび割れ = 検出した全部位 + 従来見落とさないことを重視するあまり Recall の観点から性能が示されていたしかし実用上は Precision の観点も不可欠一般的に Recall と Precision はトレードオフの関係にあり両者を含んだ評価が必要 18

19 Precision ひび割れ検出精度の評価指標 Recall と Precision の両方を考慮した検出精度の評価トレードオフの関係を定量化 MAP(Mean Average Precision) サンプル毎に各 Recall 値での Precision の平均を算出しさらに全サンプルについてこの値の平均を算出 Recall 17サンプルのPrecision Recall Curveの例右肩が張っているほど精度が高いといえる < これは各グラフの面積比の平均に等しい = 検出精度 19

20 詳細形状寸法算出方法の検討元画像詳細形状抽出幅長さ算出幅長さを表示 20

21 開発システムの現場環境への対応性検討汎用性市販の撮影機材に広く対応画質が劣る防塵防水型コンパクトデジタルカメラでも適用可能作業性手持ちで利用三脚や車体への固定が不要吊り下がりながらの点検や狭小箇所でも運用可能信頼性検出結果をその場で確認手戻り防止 21

22 実証に向けたシステム開発いつでもどこからでも利用可能なシステムオフィス現場点検維持管理クラウドサービススマホドローン PC 画面 22

1. 研究背景目的 2. 使用機器 3. 橋梁点検システム 4. 選定橋梁 5. 安全対策橋梁点検フロー 6. 計測結果計測条件 7. まとめ - 2 -

1. 研究背景目的 2. 使用機器 3. 橋梁点検システム 4. 選定橋梁 5. 安全対策橋梁点検フロー 6. 計測結果計測条件 7. まとめ - 2 - ひび割れ計測機と飛行ロボットによる橋梁点検支援システムに関する研究大阪市立大学大学院教授プロジェクトリーダー山口隆司大阪市立大学大学院学生堂ノ本翔平菱田伸鉄工業 ( 株 ) 菱田聡クモノスコーポレーション ( 株 ) 藤田誠二近畿地方整備局道路部, 近畿技術事務所, 大阪国道事務所 - 1 - 1. 研究背景目的 2. 使用機器 3. 橋梁点検システム 4. 選定橋梁 5. 安全対策橋梁点検フロー