画像判定ソリューションのご紹介

Size: px

Start display at page:

Download "画像判定ソリューションのご紹介"

まともこやぎ
5 years ago
Views:

1 画像判定ソリューションのご紹介機械学習による画像の検査 / 判定の自動化提案株式会社日立ソリューションズ本資料中の会社名商品名ロゴは各社の商標または登録商標です

検査自動化して人員の再配置を考えたい虚報率が高い人によって判定にばらつきがあるあいまいな検査項目で自動化できない

2 1. 検査判定プロセスの課題人が目視で作業確認など行っていませんか? また以下のような課題を抱えられてはいませんか? 不良品流出が心配検査人員が不足人が集まらない生産性をあげたいベテラン検査員が退職した検査レポートの作成が大変検査自動化して人員の再配置を考えたい虚報率が高い人によって判定にばらつきがあるあいまいな検査項目で自動化できない画像処理のノウハウがない市販のシステムは金額が高い性能が心配自社の部品画像に対応できる? 画像が変わると再度開発しないと 24 時間の監視が必要 1

3 2. 技術の進歩による課題解決関連技術が進化しています画像処理ライブラリの進化様々なアルゴリズムが日々進歩 ( 現在も論文発表あり ) OSS など様々なツールで検証評価が可能高性能コンピュータの進化 CPU 性能の向上 GPGPU( 1) の用途拡大機械学習技術の進化ビッグデータにより精度の高い学習判定を実現画像処理の時間短縮ビッグデータ処理高速化機械学習技術が発展画像による外観検査画像の判定業務自動化が可能ただし画像処理 / 機械学習はノウハウが重要 1 GPGPU: グラフィック処理装置の多目的コンピューティング (General-purpose computing on graphics processing unitsの略称 ) GPUの演算資源を画像処理以外の目的に応用する技術のこと 2

4 3. ソリューションの基本コンセプトその目視でチェックしている作業自動化できませんか? カメラで撮影し画像で判定しましょう! 3

4. ソリューションのご提案デジタルカメラ開発や自動車の物体認識機能など組込みソフト開発で培った技術 IT

SI カメラ選定システムインフラ構築アプリケーション開発など SI 作業も含めて実施画像処理 ( 前処理 )

データ分析特徴量の統計解析可視化ツールによる AI 判断分析判定処理検出閾値設定異常判定チェック Zzzzzzzzzz etc

5 4. ソリューションのご提案デジタルカメラ開発や自動車の物体認識機能など組込みソフト開発で培った技術 IT システム構築やビッグデータ解析などで蓄積した機械学習技術これらを組み合わせてお客様がお持ちの課題を解決する提案をいたしますシステム SI カメラ選定システムインフラ構築アプリケーション開発など SI 作業も含めて実施画像処理 ( 前処理 ) 最適な画像加工ができるアルゴリズムツールを選定機械学習 (AI) 最適な機械学習手法 Deep Learning 技術の選定データ分析特徴量の統計解析可視化ツールによる AI 判断分析判定処理検出閾値設定異常判定チェック Zzzzzzzzzz etc zzzzzzzzzz zzzz お客様の画像の特徴判定の対象エリア検査の項目判定の基準などにあわせて精度の高い結果を得る最適な画像処理と学習方法再学習プロセスを提案いたします 4

6 5. プロジェクトの作業プロセス (PoC ベース ) システム開発は以下の流れで行っていきます開発前に事前検証実証実験を行い検出 / 判定精度を確認します事前検証 / 実証実験システム開発試験運用対象画像判定基準判定精度上記の提供をお願いします画像や判定基準からアルゴリズム学習手法を決定します対象システムや検査装置などにあわせて画像判定処理およびシステムを構築します検査装置やハードウェアの開発は含みませんトライアルで運用し誤判定データや問題を抽出追加学習アルゴリズム閾値の調整を実施しますシステム稼動開始アルゴリズム再検証検証結果のご報告目標到達プロジェクト終了保守継続して再学習するなどで誤判定を改善します 5

7 6-1. 提案事例の紹介 ( 顧客 : 精密機器製造 ) 精密機器部品の外観検査精密機器向けに作成した部品の外観上のキズ汚れなどを検出するシステムです外観異常のパターンごとに適切な判定器をカスケード分類器によるキズ検出作成し適用させることで精度を向上させます 2 値化による検査対称面の抽出部品の画像ヒストグラムによるカラー判定キズ判定 = OK カラー判定 = OK 形状判定でOK > 60% CNN による形状判定正常と判定 Softmax ニューラルネットワークの出力を確率に変換して出力する層 softmax 6

6-2. 提案事例の紹介 ( 顧客 : 自動車部品製造 ) 配線ケーブルコネクタの不良検出

) コネクタ画像 ( 横方向 ) 画像処理 ( 前処理 ) 画像処理 ( 前処理 )

8 6-2. 提案事例の紹介 ( 顧客 : 自動車部品製造 ) 配線ケーブルコネクタの不良検出画像前処理と機械学習を活用し画像の特徴を出した上で機械学習ツールにより不良品の判定を学習します 1 方向の画像からでは判断できない場合複数方向の画像を組み合わせて判定を行います最終段の判定をプログラミング又は機械学習で行い精度をさらに向上させますコネクタ画像 ( 上方向 ) コネクタ画像 ( 横方向 ) 画像処理 ( 前処理 ) 画像処理 ( 前処理 ) softmax softmax OK 確率 NG 確率 OK 確率 NG 確率判定プログラム又は機械学習それぞれ CNN で学習 7

9 6-3. 提案事例の紹介 ( 顧客 : 自動車部品製造 ) 自動車部品の異常分類製品の異常個所を学習し異常種別の判定結果を確率で出力します画像検査装置を導入しているが異物や汚れなどの分類までは既存装置で判断できないため人手で再検査を実施中 CNN で判定確率を出力することで該当箇所が何かを判断します異物画像確率異物画像キズ画像汚れ画像打痕画像画像処理 ( 前処理 ) CNN で学習判定結果は確率で出力 softmax 汚れ画像確率キズ画像確率打痕画像確率画像の判定確率を出力入力した画像と判定確率の相関を確認します 8

6-4. 提案事例の紹介 ( 顧客 : 自動車部品製造 ) 製造品の出荷前品番チェック

決まったフォント ( 刻印 ) 文字認識 (OCR 機能 ) 画像処理 ( 領域抽出 ) 画像処理 (

10 6-4. 提案事例の紹介 ( 顧客 : 自動車部品製造 ) 製造品の出荷前品番チェック工場内で製造された部品に対し出荷前の部品番号チェックを画像処理で実施複数の部品でフォント固定の英数字刻印と手書きによる英数字刻印を実施しておりそれぞれの文字を画像から自動認識し複数の部品で品番が正しいか確認を行う提案です出荷データ決まったフォント ( 刻印 ) 文字認識 (OCR 機能 ) 画像処理 ( 領域抽出 ) 画像処理 ( エッジ画像 ) 人による手書き文字文字認識 ( 機械学習 ) 手書き文字の認識に機械学習の技術を利用判定品番が一致しているか? 手書き文字の事前学習データ異なる場合は人手による部品の再チェックを実施 9

11 6-5. 提案事例の紹介 ( 顧客 : 製造業 ) 類似設計図面の検索システム設計の参考にするため過去の類似図面の検索などを実施する場合画像どうしの検索を効率よく実施 Deep Learning 技術を利用して図面の画像データからハッシュ値を取得検索対象図面のハッシュ値に近いものを検索することで図面レベルでの類似検索を実現設計図面または部品図面を画像データとして入力 CNN で特徴量を抽出特徴量をハッシュ値として出力ハッシュ値を比較近いものを類似画像と出力設計図面 CNN(SSDH 技術 ) 類似画像登録済み Hash data binaries Hash data 部品図面 10

6-6. 提案事例の紹介 ( 顧客 : 金属製造 ) モーションキャプチャによる生産性向上支援

機械学習により今までに気が付かなかった動作などを明示し気づきを与えることができます (

測位点ごとに移動量などを数値化頭 : xx cm 手首 : xx cm 腰 : xx cm ビギナー作業員

12 6-6. 提案事例の紹介 ( 顧客 : 金属製造 ) モーションキャプチャによる生産性向上支援定点カメラで各作業員の動作 ( モーションキャプチャ ) を取得しベテラン作業員の動きと各自の差を定量的に観測機械学習により今までに気が付かなかった動作などを明示し気づきを与えることができます ( ベテラン作業員の生産性を動画解析により見える化 ) ベテラン作業員定点カメラ画像処理モーションキャプチャ取得測位点ごとに移動量などを数値化頭 : xx cm 手首 : xx cm 腰 : xx cm ビギナー作業員機械学習クラスタリングベイジリアンネットワークによる因果分析特徴的な差異を抽出しビギナー作業員の生産性を改善人の見解にはない観点を示しノウハウとして蓄積 11

13 6-7. 提案事例の紹介 ( 顧客 : 通信 IT) データセンタのLED 点灯状況チェックデータセンタ内で稼働中のサーバが正常動作しているか LED 点灯状態を目視チェックしていますがこれをAR 技術機械学習画像処理により自動判定検査員が現場で対象箇所を見るだけでチェックを実施サーバにエビデンスを保存作業手順撮影画像サーバアプリケーション点検対象フィールドスマートグラス / スマートフォン上に手順を投影指示 1. 参考例のようにサーバを撮影してください機械学習による物体検出 (LED 識別 ) 正常 : 赤点灯画像判定ヒストグラムによる色情報取得フレーム毎処理による点滅判定正常 : 緑点滅次のチェック対象サーバを指示点検結果. 対象認識点検結果電源 LED ステータス LED OK OK OK 結果の判定電源 LED: 赤点灯ステータス LED: 緑点滅オフィス 12

14 6-8. 提案事例の紹介 ( 顧客 : 通信系 ) 位人物検出およびモザイク処理公道などで撮影した画像 / 動画データから人物を検出しモザイク処理を実施します個人情報につながる不要な情報をマスクするとともに検出結果をデータ化し保存します物体検出アルゴリズムに Deep Learning 技術を活用し高速に検知を行います YOLO 技術置座標画像処理 ( モザイク処理 ) 13

15 6-9. 入出庫業務改善事例業務課題解決手法入出庫ダンボールのラベルを全数目視で確認業務効率を改善したいカメラによるラベル撮影 Object Detection 技術システムイメージデータ解析用サーバ検出したいラベルを事前学習した AI 設備の制御現場でダンボールを撮影画像認識 AI でラベル有無を確認し設備の制御を実施ラベルチェック作業の自動化により単純作業の工数低減チェック漏れの抑止が可能 14

16 6-10. 危険行動監視事例業務課題業務における危険行動の監視を実施しアラームを出したい監視カメラによる撮影解決手法 Object Detection 技術 + 判定プログラム監視装置システムイメージデータ解析用サーバ DeepLearning オブジェクト検知危険行動判定プログラム映像出力作業員フレーム取得事前学習した AI を利用台車フォークリフト危険行動チェック別システムへの通知パトランプでアラーム出力監視の自動化により品質の向上および怪我などの低減を実現 ( 監視員のチェック工数削減 ) 15

17 6-11. 帳票業務改善事例業務課題帳票の仕分けだけで精一杯細かい種別の分類は人に頼っている解決手法 Classification 技術 + 画像処理技術システムイメージ数百 ~ 数千種類 H Hamburger スキャンデータ ( 伝票など ) 帳票種別を学習した AI 画像補正プログラムエッジ強調台形補正傾き補正など各自のフォルダへ移動細かい点まで見て仕分けを自動化することで仕分け業務を自動化生産性向上 16

18 ( ご参考 ) Deep Learning を実現する推奨動作環境パソコンの必要スペックはタクトタイムや画像数量などによって変動するため以下は参考例とさせてください技術検証などの作業が完了後に必要なスペックを試算しご提示いたしますハードウェア CPU Corei7-6950X(3.0GHz,20thread) メモリ 32GB ストレージ SSD256GB,HDD1TB GPU NVIDIAGeForceGTX1080Ti(11GB) OS Windows / Ubuntuを想定ソフトウェア Python TensorFlow または Keras 参考情報画像処理を多用する場合は CPU のスペックがよいものが望ましいです CPU のコア数 / クロック数の多いものメモリサイズが多いのが望ましいです深層学習 (Deep Learning) を実施する場合は GPU のスペックが影響します GPU のメモリサイズにとどまらず GPU 自体を複数枚準備するなど発生します生産数量が多い場合や保存したい画像数が大量の場合は HDD の容量を多く準備する必要があります CPU で深層学習を行うことも可能ですが 1 枚の画像に対して数秒の処理時間がかかります GPU の場合は数十 ms です 17

19 ( ご参考 ) 使用技術の例 # 項目説明画1 ( 前像フィルタメディアンガウシリアンラプラシアンなどのフィルタを画像にかけ 2 値化処理などの前処理を行う処2 理処FFT フーリエ変換を行い特定の周波数帯域を除去します逆フーリエ変換を行うことで特徴を抽出した画像を作成理) 3 ヒストグラム特定の色情報 ( 例 : 明度 ) で出現数をグラフ化します (0-255の数値で表現) ( ) 4 2 値化マスク背景と対象物の分離を行う手法の1つ背景と対象物を白 / 黒の2 値で表現し対象物と背景の画像を分離させる 7 抽処出理エッジ検出各種エッジ検出アルゴリズムを用いて画像の輪郭などを検出します 5 領画域像背景差分現在画像と元画像の差を取ることで変化があった場所や物体を検出します 6 線 / 円 / コーナー検出画像中に存在する線円コーナーを検出します 8 グラフカット前景部分の抽出を行います 9 KLT トラッカー指定した画像エリアの特徴をトラッキング 10 機械学習14 SVM/1classSVM Support Vector Machineの略学習サンプルから2クラスに分類するための識別アルゴリズム CNN Convolution Neural Network( 畳み込みニューラルネットワーク ) の略脳の神経回路網 ( ニューラルネットワーク ) を複数つないで学習判断を行うもの Deep Learningの1 種 11 R-CNN Region based CNNの略 CNNの前処理としてSelective Searchなどの画像検出アルゴリズムを利用することで特定の物体の存在を検出するアルゴリズム 12 深層強化学習状態から行動を決める方策 (Policy) や, 状態や行動の価値を予測する価値をニューラルネットで表現し, そのパラメータを学習していく手法のこと 13 カスケード分類器検出したい画像の特徴を学習し学習した画像と類似性があるか判定を行うアルゴリズムの1 種 1-class SVMは特定のデータ分類 (1 種類 ) だけで学習を行い分類器を作成する 15 GAN Generative Adversarial Networkの略生成モデル型の機械学習事前に学習した画像から類似の新しいデータを生成する機械学習モデル 16 SSDH Supervised Semantics-preserving Deep Hashing model 画像データのハッシュ値をDeep Learning 技術を用いて取得する技術 17 YOLO You Only Look Once の略リアルタイムでの物体検知を可能にしたアルゴリズムで 40-90FPS での動作も可能 18

Microsoft PowerPoint - pr_12_template-bs.pptx

Microsoft PowerPoint - pr_12_template-bs.pptx 12 回パターン検出と画像特徴テンプレートマッチング領域分割画像特徴テンプレートマッチング 1 テンプレートマッチング ( 図形画像などの ) 型照合 Template Matching テンプレートと呼ばれる小さな一部の画像領域と同じパターンが画像全体の中に存在するかどうかを調べる方法画像内にある対象物体の位置検出物体数のカウント物体移動の検出などに使われるテンプレートマッチングの計算