2
紹介 u 名やぶのりゆき藪記 u 経歴 2000: 社 2000 2009: 基幹系 MWの開発を担当 2009 2016: 基幹系 MWの品証を担当 2016 現在:AI 商品の品証を担当 開発現場で品質コンサル / アジャイルコーチング u 趣味 転 スキー u どんな 間? 意識 くない系 QA エンジニア効率厨 : ツールを作って 作業削減 プロセス改善 u 今は Redmine や Jenkins など OSS から品質データを 動で取得して 元的に える化
株式会社日立製作所 研究開発グループ システムイノベーションセンタ 主管研究員 ソフトウェアモダナイゼーション ラボ長
7
2020年には 新しく作られるソフトウェアの 50%以上が統計的機械学習応用システムとなる ソフトウェア品質シンポジウム2018 講演 機械学習工学とソフトウェア品質 より 2018.9.14 丸山 宏 氏
10
11
12
14
15
17
19
20 ( 次ページ以降に続けて掲載 )
ソフトウェア品質シンポジウム 2018 機械学習システムにおけるソフトウェア品質保証の課題 パネルディスカッション 2018/9/14 株式会社日立製作所研究開発グループシステムイノベーションセンタ主管研究員ソフトウェアモダナイゼーションラボ長 小川秀人 Hitachi, Ltd. 2018. All rights reserved.
自己紹介 : 小川秀人 ソフトウェア工学の企業内研究者 ソフトウェアテスティング形式手法開発プロセスソフトウェアプロダクトラインなど 鳥は飛ぶ 学生時代は ペンギンは鳥だが空を飛べない 弊社グループ内への技術開発と適用が主な仕事 いわゆる 組込みソフト と呼ばれるものたち Hitachi, Ltd. 2018. All rights reserved. 1
機械学習を使った製品 サービスの例 最適配置 製造物検査 生産最適化 文字認識 イメージはイメージです Hitachi, Ltd. 2018. All rights reserved. 2
例 : 最適配置問題 どこに何台を配備しておけば最適に業務を遂行できるか 全体最適平均到着時間を最短に 個別制約どこでも 30 分以内に 確率的な正しさと個別結果の正しさとの両面の品質が大切 実際のデータではありません Hitachi, Ltd. 2018. All rights reserved. 3
機械学習システムの品質に関する留意事項 人の支援 人の代替 人を超越 機械学習の精度 システムの品質 サービスの品質 機械学習 = 帰納 閉じた環境 開いた環境 プロダクト QA プロセス QA Hitachi, Ltd. 2018. All rights reserved. 4
機械学習の品質保証に関わる活動 機械学習を含むシステムの検証技術 品質評価技術の研究開発 機械学習を含むシステムの開発に関するコンサルテーション (?) 機械学習システムが社会に受け入れられて安全 安心 快適な世界を創造するために 機械学習を含むシステムの品質保証に関する産学を超えた議論 Hitachi, Ltd. 2018. All rights reserved. 5
機械学習を含むシステムのライフサイクル Assessment Pilot / PoC / Development Shipment/Service-in ビジネス KPI 訓練データセット作成 ML アーキテクチャ設計 出荷前品質評価 Maintenance データ再構築 学習結果評価 モデル 機械学習フレームワーク システム開発 Operation 学習 顧客合意 運用時データ 実行 履歴収集 モデル 実行時検証 オンライン学習 Hitachi, Ltd. 2018. All rights reserved.
ポイント / よくある疑問 / 課題 Assessment Pilot / PoC / Development Shipment/Service-in ビジネス KPI Maintenance データ再構築 運用時データ 訓練データセット作成 MLアーキテクチャ設計 ポイント 顧客が得られるビジネス的価値をモデル KPIとして合意しておこう 学習結果 誤りを前提とした顧客との作業分担をしよう評価学習合意 サービスごとの特性を考慮しよう 実行 機械学習フレームワーク 何を約束して何を約束しない Operation? 履歴収集 モデル 実行時検証 出荷前品質評価 システム疑問 / 課題 ビジネスKPI開発を決められる? 計測できる? オンライン学習 Hitachi, Ltd. 2018. All rights reserved.
ポイント / よくある疑問 / 課題 Assessment Pilot / PoC / Development Shipment/Service-in ビジネス KPI 訓練データセット作成 ML アーキテクチャ設計 出荷前品質評価 Maintenance データ再構築 運用時データ 学習結果評価 モデル 機械学習フレームワーク Operation 学習 履歴実行時実行モデル収集検証 (MLに限らずアジャイル開発の課題も混在?) 顧客合意 ポイント アジャイルシステム ( 反復的 ) な開発になる 中身を見ない成果物の有無確認に意味はない開発 疑問 / 課題 プロセスで品質を評価/ 保証できる? オンライン学習 Hitachi, Ltd. 2018. All rights reserved.
ポイント / よくある疑問 / 課題 Assessment Pilot / PoC / Development Shipment/Service-in ビジネス KPI 訓練データセット作成 ML アーキテクチャ設計 出荷前品質評価 Maintenance データ再構築 学習結果評価 モデル システム開発 学習 機械学習フレームワークポイント 学習結果でプロダクト品質が測れる 疑問 / 課題 Operation 従来のテストに当たるものと思ってよい? 運用時履歴実行時実行モデルデータ 交差検証や混同行列などの品質保証的意味収集 機械学習特有のテスト技術とは? 顧客合意 オンライン学習 Hitachi, Ltd. 2018. All rights reserved.
ポイント / よくある疑問 / 課題 Assessment Pilot / PoC / Development Shipment/Service-in ビジネス KPI 訓練データセット作成 ML アーキテクチャ設計 出荷前品質評価 モデル Maintenance データ再構築 運用時データ 学習結果評価 ポイント学習 よい データを集めて顧客と合意しよう 機械学習フレームワーク 疑問 / 課題 運用環境をカバーする充分なデータ システム開発であることをどうやって保証するの Operation? 実行 履歴収集 モデル 実行時検証 顧客合意 オンライン学習 Hitachi, Ltd. 2018. All rights reserved.
ポイント / よくある疑問 / 課題 Assessment ビジネス KPI Pilot / PoC ポイント / Development システム/ 運用でのフェールセーフなど システム全体での品質確保を考えましょう 訓練データセット作成 MLアーキテクチャ設計 Shipment/Service-in 出荷前品質評価 Maintenance データ再構築 モデル 疑問 / 課題 学習結果 MLとシステムでどう責任分担しよう評価学習? 後付けで例外処理ルールが増えていく 機械学習フレームワーク 顧客合意 システム開発 Operation 運用時データ 実行 履歴収集 モデル 実行時検証 オンライン学習 Hitachi, Ltd. 2018. All rights reserved.
ポイント / よくある疑問 / 課題 Assessment ビジネス KPI Maintenance データ再構築 Pilot / PoC / Development ポイント 顧客のユースケースを想定した評価訓練データ 機械学習の知識は必須セット作成 全体性能と 個別正誤の両面に留意 学習結果評価 モデル MLアーキテクチャ設計 疑問 / 課題 第三者検証として何をすべき? 品証独自のテストデータを持つ? 機械学習フレームワーク 学習 Shipment/Service-in 出荷前品質評価 顧客合意 運用時データ ポイントシステム 機械学習以外の運用も含めた合意開発 ( 運用形態により守るべきものが異なる ) Operation 実行疑問 / 課題履歴モデル 肌感覚 と違う結果をどう説明する? 何をエビデンスに品質を説明するのか収集? 実行時検証 オンライン学習 Hitachi, Ltd. 2018. All rights reserved.
ポイント / よくある疑問 / 課題 Assessment Pilot / PoC / Development Shipment/Service-in ビジネス KPI Maintenance データ再構築 訓練データポイント MLアーキ 実行履歴を記録しておくと後々いいですねセット作成テクチャ設計 モデル 学習結果疑問 / 課題評価学習 個々の事象にどこまで責任を持つの? ( 全体最適と個別事象の関係 ) 機械学習フレームワーク 勝手に成長するのも保証しないといけないの? システム開発 Operation 出荷前品質評価 顧客合意 運用時データ 実行 履歴収集 モデル 実行時検証 オンライン学習 Hitachi, Ltd. 2018. All rights reserved.
ポイント / よくある疑問 / 課題 Assessment Pilot / PoC / Development Shipment/Service-in ビジネス KPI Maintenance データ再構築 訓練データセット作成 学習結果評価 MLアーキテクチャ設計 ポイントモデル システムを成長させていきましょう 学習 学習データを少し変えただけで機械学習フレームワーク システム開発 疑問 / 課題 出荷前品質評価 顧客合意 今までと全然違う結果になるんですが!? Operation 運用時データ 実行 履歴収集 モデル 実行時検証 オンライン学習 Hitachi, Ltd. 2018. All rights reserved.
ソフトウェア品質シンポジウム 2018 HITACHI lnspire the Nexl: