2017年度 OSS 秋セミナー 【Open 技術分科会 】活動報告

Transcription

1 2017 年度 OSS 秋セミナー Open 技術分科会 活動報告 2017 年 9 月 14 日 ソリューション ラボ 横浜川島光雄

2 目次 分科会活動方針 メンバー 分科会活動体制 活動報告

3 分科会活動方針 IBM i OS を活用できる技術について 検証及び稼動確認を行うことで 技術習得を行う 技術習得 他社との交流 分科会発表 OSS 勉強会 活動日時毎月第三金曜日 18 時 ~20 時で活動 場所は東京近郊 skype での参加も現在実施中

4 メンバー 敬称略 SLY 川島 ( リーダー ) JBCC 富田 ( 副リーダー ) JBCC 植村オム二サイエンス田中 NDIソリューションズ平野ティアンドトラスト北原ベルコム梶野 KIS 藤野 SOLPAC 後藤アイビス濱田 JBAT 土井 JBAT 杉本 JBAT 田口 JBAT 冨永 SLY 高柳 SLY 中村 SLY 金子三和コムテック渋谷 < オブザーバー > IBM 菅田様登録 :12 社 19 名平均 8 名程度の参加

5 2017 年分科会活動体制 OSS 幹事会 Open 技術分科会 分科会リーダー :SLY 川島副リーダー :JBCC 富田 新技術 Python オムニサイエンス田中 JBAT 土井 NDIS 平野 活用事例 php SLY 高柳 AS 活用 (Watson Analytics) SLY 川島 JBCC 富田

6 2017 年活動実績 2017 年 6 月 16 日 ( 金 ) 18 時 ~20 時 JBAT 様川崎ソリッドスクェア 2017 年 7 月 28 日 ( 金 ) 18 時 ~20 時 オムニサイエンス様茅場町 2017 年 9 月 14 日 ( 木 ) 14 時 ~17 時 45 分 OSS 秋セミナー発表 < 今後予定 > 2017 年 10 月 19 日 ( 木 ) 18 時 ~20 時オムニサイエンス様茅場町

7 2017 年活動報告 チーム1 オムニサイエンス田中 JBAT 土井 NDIS 平野 Pythonによる機械学習構築事例 Python は Windows Linux/Unix Mac OS X などの主要なオペレーティングシステムはもちろん Java や.NET などの仮想環境でも動作するプログラミング言語です

8 テーマ IBMi 上で Python を利用した機械学習アプリケーション活用 将来像 BlueMix HTML IBMi Node-Red 今年度の取り組み HTML REST API WebServer (Python) Machine Learning プログラム

9 todo 今年度の活動として IBMi 上で以下の検証 実装を進める Python 稼働環境構築 済 成果報告 Python 用 Webサーバーの構築 済 機械学習環境の構築 苦戦中 Python DB2 RPG との連携確認 未 機械学習アプリケーションの作成 何を作るか要検討

10 Python 稼働環境構築 導入 以下ライセンスプログラムの追加導入 OPS Option 2(Python 3.4) OPS Option 3(GCC scripts) 以下 Python 用追加パッケージ PTF の導入 - DB2 connector (SI58191) - Toolkit for IBM i (SI58195) - FastCGI gateway support (SI58192) - lightweight web framework (SI58193)

11 Python 稼働環境構築 確認 バージョン確認と対話実行

12 Python 用 Web サーバーの構築 追加モジュールのインストール flipflop(fastcgi モジュール ) インストール - pip3 install /QOpenSys/QIBM/ProdData/OPS /Python-pkgs/flipflop/flipflop-*-py34-*.whl Bottle( アプリケーションフレームワーク ) インストール - pip3 install /QOpenSys/QIBM/ProdData/OPS /Python-pkgs/bottle/bottle-*-py34-*.whl

13 Python 用 Web サーバーの構築 ブラウザから Hello World を表示 Sample.py from bottle import route, run, def index(): return 'Hello World!!' run(host=' ', port=8083)

14 Python 用 Web サーバーの構築 サーバー起動 bash-4.3$ python3 /home/oss/sample.py Bottle v server starting up (using WSGIRefServer())... Listening on Hit Ctrl-C to quit. ブラウザからアクセス

15 機械学習環境の構築 scikit-learn の導入 scikit-learn とは Python のオープンソースの機械学習ライブラリの一つ 分類や回帰 クラスタリングなどの機能が実装されている 入門用として扱いやすい らしい

16 機械学習環境の構築 pip3 install scikit-learn Numpyがない pip3 install numpy gccがない まずchroot 環境でgccを使えるようにする

17 機械学習環境の構築 CRTUSRPRF USRPRF(OSS) PASSWORD() USRCLS(*SECOFR) TEXT('oss') CHGUSRPRF USRPRF(OSS) LOCALE(*NONE) HOMEDIR('/QOpenSys/oss/./home/oss ) mkdir -p /QOpenSys/oss/home/oss mkdir -p /QOpenSys/QIBM/ProdData/OPS/GCC cd /QOpenSys/QIBM/ProdData/OPS/GCC./chroot_setup.sh chroot_minimal.lst /QOpenSys/oss./chroot_setup.sh chroot_ops_gcc.lst /QOpenSys/oss./chroot_setup.sh chroot_ops_sc1.lst /QOpenSys/oss./chroot_setup.sh chroot_includes.lst /QOpenSys/oss./chroot_setup.sh chroot_ops_python.lst /QOpenSys/oss./chroot_chown.sh oss ここから ssh 接続 export PATH=/opt/freeware/bin:/usr/bin export LIBPATH=/opt/freeware/lib:/usr/lib cd /QOpenSys/QIBM/ProdData/OPS/GCC./pkg_setup.sh pkg_perzl_bash-4.3.lst bash./pkg_setup.sh pkg_perzl_gcc lst gcc version gcc が使えるように

18 機械学習環境の構築 export 'CC=gcc' export LDSHARED="/QOpenSys/QIBM/ProdData/OPS/Python3.4/lib /python3.4/config/ld_so_aix gcc -shared -bi:/qopensys/qibm/proddata /OPS/Python3.4/lib/python3.4/config/python.exp pip3 install numpy ( 成功!) pip3 install scikit-learn Scipy がない pip3 install scipy blas と lapack がない wget しても make できない!

19 機械学習環境の構築 から新しい make(4.2) と gfortran を入手 blas と lapack の make 成功 pip3 install scipy cannot import name 'HTTPSHandler libssl.so.1 libcrypto.so.1 が chroot 環境の libssl.a libcrypto.a に含まれていないので /QOpenSys/usr/lib からコピー

20 機械学習環境の構築 pip3 install scipy flag is not recognized. イマココ 構築にトライして分かったこと IBMi PASE 環境用に用意されていないものを導入するのは非常に困難 PTF として提供される可能性??

21 今後の予定 引き続き機械学習環境の構築 Python DB2 RPGとの連携確認 機械学習の基礎の学習 機械学習アプリケーションの作成

22 2017 年活動報告 チーム 2 SLY 高栁 ZendServer を活用した PHP 活用事例 IBM i 上での PHP 活用事例ついてまとめたいと思います

23 チーム 2( PHP 活用事例 ) のスタンス いきなり余談ですが 2017 年度版プログラミング言語トップ100 順位 言語 順位 言語 1 Java 8 JavaScript 2 C 9 Delphi/Object Pascal 3 C++ 10 Swift 4 C# 11 Perl 5 Python 12 Ruby 6 VB.net 7 PHP 39 RPG(OS/400) 出展 :FOSSBYTES

24 チーム 2( PHP 活用事例 ) のスタンス テーマ 今さらなんて言わずに PHP 開発 on IBM i PHP の歴史を 60 秒で振り返る What s new 1995 年 PHP 1.0 リリース 2004 年 IBM i でPHPが動作 ( 非公式バイナリ :i5 PHP) 2006 年 Zend Core for i5/os リリースにより公式サポート 2016 年 PHP7.1(2017 年 9 月時点の最新版 ) リリース 参考サイト :e-bellnet.com PHP on i を始めましょう

25 最新の OSS ツールで実装してみます Web ブラウザ IBM i PASE HTTP サーバ ZendServer PHP MariaDB 実行環境 RPG/CL DB2 for i

26 実装機能 基幹システムの周辺系をターゲットに Web 画面機能を選定中

27 チーム 2 今後の予定 開発環境セットアップ ZendServer 9 済 PHP 7 済 MariaDB(ZendDBi) php.ini / httpd.conf 等の設定何らかのフレームワーク 開発メンバーアサイン SLY からは超若手メンバーを投入予定 PHP を書いてみたい方は声を掛けてください! 活用にあたってのナレッジまとめ

28 2017 年活動報告 チーム 3 SLY 川島 JBCC 富田 NID 平野 IBM i の活用について訴求して行きます! Bluemix から DB2 と連携して Watson Analytics の活用事例の作成

29 2017 年活動報告 問題定義 IBM i に蓄積されたデータを有効活用できないか? 活用方法 1. 過去データ参照が難しいバックアップは取得しているが テンポラル DB を活用で過去データ参照がスムーズに! 2. 何を分析してよいか分からない Watson Analytics を活用して分析方法を検討 WebQUERY で分析結果を表示

30 2017 年活動報告 IBM i テンポラルテーブルとは? 使い方 実際の事例 WebQUERY 使い方 実際の事例 Blue Mix Watoson Analytics WatosonAnalytics とは? 使い方 実際の事例 BlueMIX とは? 使い方 実際の事例 連携 AS400 との連携 使い方 実際の事例

31 2017 年活動報告 IBM i WatosonAnalytics 連携構成 PHP IBM i サービス BLUE MIX Watson Analytics 5250 画面 DB DB DB テンポラルテーブル WebQuery データ分析照会 分析結果より

32 2017 年活動報告 トランザクション 管理情報 タイムトラベル機能今回作成したテーブル STEP1: トランザクションテーブル作成 CREATE TABLE policy_info ( policy_id CHAR(4) NOT NULL, coverage INT NOT NULL, sys_start TIMESTAMP(12) NOT NULL GENERATED ALWAYS AS ROW BEGIN, sys_end TIMESTAMP(12) NOT NULL GENERATED ALWAYS AS ROW END, ts_id TIMESTAMP(12) NOT NULL GENERATED ALWAYS AS TRANSACTION START ID, PERIOD SYSTEM_TIME (sys_start, sys_end) ); STEP2: 履歴履歴テーブル作成 CREATE TABLE hist_policy_info LIKE policy_info ALTER TABLE policy_info ADD VERSIONING USE HISTORY TABLE hist_policy_info

33 2017 年活動報告 タイムトラベル機能今回作成したテーブル STEP2: トランザクションテーブルデータ登録 policy_info INSERT INTO policy_info (policy_id, coverage)values('a123',12000); INSERT INTO policy_info (policy_id, coverage)values('b345',18000); INSERT INTO policy_info (policy_id, coverage)values('c567',20000); hist_policy_info

34 2017 年活動報告 タイムトラベル機能今回作成したテーブル STEP3: トランザクションテーブルデータ更新 UPDATE policy_info SET coverage = WHERE policy_id = 'C567' policy_info hist_policy_info

35 2017 年活動報告 タイムトラベル機能今回作成したテーブル STEP4: トランザクションテーブルデータ削除 DELETE FROM policy_info WHERE policy_id = 'B345'; policy_info hist_policy_info

36 2017 年活動報告 タイムトラベル機能今回作成したテーブル STEP5: トランザクションテーブルデータ過去データを参照初期登録 SELECT policy_id, coverage, sys_start, sys_end 時点を指定 FROM TEMP001.policy_info FOR SYSTEM_TIME AS OF ' ' policy_info

37 2017 年活動報告 タイムトラベル機能今回作成したテーブル STEP6: トランザクションテーブルデータ過去データを参照初期登録 SELECT policy_id, coverage, sys_start, sys_end 時点を指定 FROM TEMP001.policy_info FOR SYSTEM_TIME AS OF ' ' policy_info

38 2017 年活動報告 タイムトラベル機能今回作成したテーブル STEP7:RPG から表示 初期登録時点を指定 結果画面

39 2017 年活動報告 タイムトラベル機能今回作成したテーブル STEP8:RPG から表示 削除後時点を指定 結果画面

40 2017 年活動報告 タイムトラベル機能現時点での成果 / 考察 考察 1 マスターデータ系のデータについて過去データが残っていると更新履歴が見れて分かりやすい 例 ) 消費税マスタ等過去の処理を実施したいときは売上日付に合わせたデータを見るようにすれば 売上日時点の消費税テーブルを参照する事が可能 考察 2 重要なトランザクションについて外部公開 ( 外部接続 ) するようなテーブルに関して誰が いつ更新 削除したのか履歴されるので原因究明がしやすくなる 考察 3 過去データを分析 比較したい場合バックアップからのデータ復元が不要で SQL によって過去比較結果が表示可能 在庫トランザクションがどう推移したのか追跡が可能

41 2017 年活動報告 今後の予定 Web Query による分析画面の作成 基幹システムデータだけで WatosonAnalytics 事例を検討 SNS 等のデータと基幹システムデータを連携した時の WatosonAnalytics 事例を検討

42 分科会今期活動予定 新規で分科会参加したい方は OSS 幹事までご連絡ください 毎月第 3 金曜日 18 時 ~20 時で活動 場所は東京近郊 skype での参加も現在実施中 ( 希望者のみ ) 10 月 19 日 ( 木 ) 18 時 ~ オムニサイエンス様