Agenda n 自己紹介 & 私たちのチームの紹介 n 私たちが目指していること n SHIFT 紀元前 : OSS ミドルウェアのおすすめパターン化 n IaC/IT 基盤構築自動化 / 自動化ツール入門 n Project SHIFT & SHIFT ware n SHIFT ware" 公開

Transcription

1 OSC2017 Kyoto オープンソースビジネス推進協議会 (OBCI) Ansible による自動構築 ベストプラクティスを OSS で公開 配布用 2017 年 8 月 4 日 OBCI 理事,TIS 株式会社 OSS 推進室 溝口則行 Copyright 2017 TIS Inc. All rights reserved.

2 Agenda n 自己紹介 & 私たちのチームの紹介 n 私たちが目指していること n SHIFT 紀元前 : OSS ミドルウェアのおすすめパターン化 n IaC/IT 基盤構築自動化 / 自動化ツール入門 n Project SHIFT & SHIFT ware n SHIFT ware" 公開 n 成果の公開に向けたあれやこれや n まとめ Copyright 2017 TIS Inc. All rights reserved. 2

3 自己紹介 溝口則行, TIS 株式会社 IT 基盤技術本部 OSS 推進室長 2000 年代前半 : LISP でエキスパートシステム型ビジネスアプリの開発 UNIX と C 言語を中心にしたシステム開発 消費者向けインターネットサイトのシステム構築, 運用保守 2000 年代前半 : TIS 戦略技術センター ( 現組織名 ) にて技術コンサルティング 得意分野 : Linux/UNIX 系システムでのミドルウェア 性能エンジニアリング ミドルウェアを中心にした OSS 活用推進グループのリーダ 2015 年度 : OSS 推進室室長 その他 : オープンソースビジネス推進協議会 (OBCI) 理事 OSS コンソーシアム理事 OSS 運用管理勉強会世話人 経済産業省所管情報処理技術者試験試験委員 執筆 連載 性能エンジニアリング入門, 他 Copyright 2017 TIS Inc. All rights reserved. 3

4 私たちのチーム OSS コミュニティへの貢献 : Zabbix の情報発信 機能強化 クラウド環境を監視するための 拡張機能を OSS 公開 コミュニティ活動への 参加 運営協力 ラトビア共和国 リガで開催された 年次大会での講演 マニュアルだけではわからない 活用のノウハウを書籍化 Copyright 2017 TIS Inc. All rights reserved. 4

5 私たちのチーム OSS コミュニティへの貢献 : PostgreSQL の情報発信 機能強化 コンソーシアム WG リーダと して検証成果を発表 PostgreSQL 監視 機能を OSS 公開 有力メディアを通じて 検証成果を発表 コミュニティからの表彰 Copyright 2017 TIS Inc. All rights reserved. 5

6 私たちのチーム OSS コミュニティへの貢献 : Ansible の情報発信 今年, 集客力抜群な ネタとタレント 既に満員御礼 Copyright 2017 TIS Inc. All rights reserved. 6

7 私たちの取り組み OpenStack 技術者育成 Copyright 2017 TIS Inc. All rights reserved. 7

8 私たちの取り組み - これまで公開してきた OSS TIS & SRA OSS 共同開発 Copyright 2017 TIS Inc. All rights reserved. 8

9 その他に Copyright 2017 TIS Inc. All rights reserved. 9

10 私たちが目指していること クラウド時代のオープンな IT 基盤のために Copyright 2017 TIS Inc. All rights reserved. 10

11 OSS の活用推進の立場から 個々の OSS 自体の成熟度の問題ではなく, 主に活用ノウハウの成熟度の問題 O S S の成熟度 ー 領域 Web, メール ( 単体 ) ワークグループ OA DB ( 単体 ) 製品毎の成熟度 Web, AP サーバ 業務 サービス 基幹業務 個別製品を越えた対応が必要 = インテグレーションが必要 参考 : IPA, オープンソースで構築! IT システム導入虎の巻 Copyright 2017 TIS Inc. All rights reserved. 11

12 企業システムアーキテクチャの観点から 都市計画メタファー インフラ ( 基盤 ) がクローズドなものであってはならない ( おかしい ) 個別の 建物 関係性 都市 個別の 情報システム 関係性 企業 情報システム & 公共インフラ 共有する IT サービス 共有機能インフラ OSS, ( 他 ) 事業部 1 の 固有 IT サービス 事業部 1 固有の IT 全社的なインフラ OSS + プライベートクラウド, ( 他 ) 事業部 2 の 固有 IT サービス 事業部 2 固有の IT 公共インフラ インターネット, パブリッククラウド 中身は OSS 企業情報システムアーキテクチャ ( 南波幸雄, 翔泳社, 2009) を参考に Copyright 2017 TIS Inc. All rights reserved. 12

13 IT 基盤技術参照モデル ( 策定中 ) ( 運用サービス ) ( 業務アプリケーション / サービス ) 運用管理基盤 ( 基盤構築 ) 基盤ソフトウェア ( 従来系ミドル ) ( 新世代サービス系 ) ( 共通サービス系 ) (OS) 仮想化基盤 ハードウェア Copyright 2017 TIS Inc. All rights reserved. 13

14 IT 基盤技術参照モデル ( 策定中 ) ( 運用サービス ) ( 業務アプリケーション / サービス ) 運用サービス 運用自動化 運用管理基盤 監視 バッチジョブ管理 構成管理 バックアップ 性能管理 インシデント管理 セキュリティ管理 運用インテグレーション ( 基盤構築 ) 導入 パラメータ設計 設定 構築自動化 Copyright 2017 TIS Inc. All rights reserved. 基盤ソフトウェア ( 従来系ミドル ) Webサーバ AP サーバ DBMS OS ( 新世代サービス系 ) AI/Deep Learning ビッグデータ処理 分散処理基盤 仮想化基盤 オーケストレーション サーバ仮想 SDS 化 ハードウェア サーバ (CPU) ストレージ ( 共通サービス系 ) 認証 ID 管理 メッセージング クラスタウェア SDN ネットワーク 可用性 性能 拡張 ( 他 ) 14

15 たとえば IaaS モデルなら ( 運用サービス ) ( 業務アプリケーション / サービス ) 運用サービス 運用自動化 運用管理基盤 監視 バッチジョブ管理 構成管理 バックアップ 性能管理 インシデント管理 セキュリティ管理 運用インテグレーション ( 基盤構築 ) 導入 パラメータ設計 設定 構築自動化 Copyright 2017 TIS Inc. All rights reserved. 基盤ソフトウェア ( 従来系ミドル ) Webサーバ AP サーバ DBMS OS ( 新世代サービス系 ) AI/Deep Learning ビッグデータ処理 分散処理基盤 ( 共通サービス系 ) 認証 ID 管理 メッセージング クラスタウェア 仮想化基盤 オーケストレーション クラウドサービス利用 サーバ仮想 ( 物理環境は意識せず SDS ) SDN 化 ハードウェア サーバ (CPU) ストレージ ネットワーク 可用性 性能 拡張 ( 他 ) 15

16 推奨構成パターンの一例 ( 運用サービス ) ( 業務アプリケーション / サービス ) 運用サービ ス 運用自動化 運用管理基盤 監視 Zabbix バッチジョブ管理 JobSch. 構成管理 バックアップ Bacula 性能管理 インシデント管理 OTRS セキュリティ管理 運用インテグレーション Copyright 2017 TIS Inc. All rights reserved. ( 基盤構築 ) 導入 パラメータ設計 設 定 構築自動化 Ansible Serverspec 基盤ソフトウェア ( 従来系ミドル ) Webサーバ AP サーバ JBoss DBMS OS 仮想化基盤 AWS Apache Tomcat PostgreSQL サーバ仮想化 ハードウェア サーバ (CPU) ( 新世代サービス系 ) AI/Deep Learning ビッグデータ処理 分散処理基盤 オーケストレーション SDS ストレージ ( 共通サービス系 ) 認証 ID 管理 メッセージング クラスタウェア Linux Windows Pacemaker DRBD vsphere (OpenStack) SDN ネットワーク 可用性 性能 拡張 ( 他 ) 16

17 自動化をエンジンとして, 品質と生産性の向上を目指す ( 運用サービス ) ( 業務アプリケーション / サービス ) 運用サービ ス 運用自動化 運用管理基盤 監視 Zabbix script バッチジョブ管理 JobSch. script 構成管理 バックアップ Bacula script 性能管理 インシデント管理 OTRS script セキュリティ管理 運用インテグレーション Copyright 2017 TIS Inc. All rights reserved. ( 基盤構基盤ソフトウェア ( 従来系ミドル ) ( 新世代サービス系 ) ( 共通サービス系築 ) ) Webサーバ AI/Deep 認証 ID 管理 Apache 可用性 Learning script APサーバ ビッグデータ処メッセージング 性能 JBoss Tomcat 理 拡張 script script DBMS 分散処理基盤 PostgreSQL Ansible script Serverspec OS Linux Windows クラスタウェ script script Pacemaker script DRBD 導入 パラメータ設計 設 定 構築自動化 仮想化基盤 オーケストレーション AWS vsphere (OpenStack) サーバ仮想 script SDS script SDN script 化 ハードウェア サーバストレージ ネットワーク (CPU) ア ( 他 ) 17

18 SHIFT 紀元前 : OSS ミドルウェアのおすすめパターン化 ISHIGAKI Template 2010 年 Copyright 2017 TIS Inc. All rights reserved. 18

19 OSS 推奨組合せ ISHIGAKI Template Copyright 2017 TIS Inc. All rights reserved. 19

20 ISHIGAKI Template の構成パターン Copyright TIS Enterprise 2017 TIS OSS Inc. All Support rights reserved TIS Inc. 20

21 この実現のために検証にかなりの労力を掛けているのはなぜ? l 実証主義 l システムインテグレータの, 重要な社会的役割のひとつ ü 実際の情報システムを稼働させ, 運用させることに責任を負う ü インテグレートする対象物が動くことを, 誰かが実証しなければならない ü OSS の場合, それは 製品製造元 ではない 検証結果や独自の機能拡張も, コンソーシアム活動やメディア等を通じて公開 OSS エコシステムに貢献しながら, エンタープライズ利用を促進していく Copyright 2017 TIS Inc. All rights reserved. 21

22 IaC ( ) /IT 基盤構築自動化 / 自動化ツール入門 ( Infrastructure as Code) Copyright 2017 TIS Inc. All rights reserved. 22

23 これまでの IT インフラ構築 保守 運用 品質低下 属 化 引き継ぎの課題 コストアップ ドキュメントと実機の乖離 順書 設計書 的ミス リニアなコスト増加 Copyright 2017 TIS Inc. All rights reserved. 23

24 これからの IT インフラ構築 保守 運用 ー 化 品質 使 者に依存しない品質 SHIFT ware 産性 コード管理による運 簡素化 順書 設計書 自動化 テスト済みのコードで構築 コード 台数に依存せず並列実 SHIFT ware Copyright 2017 TIS Inc. All rights reserved. 24

25 IT インフラを取り巻く環境 n Anto Scaling n Blue Green Deployment 今風のかっこいいものいろいろ n Immutable Infrastructure ver.1 ver.2 ver.3 Copyright 2017 TIS Inc. All rights reserved. 25

26 IT インフラを取り巻く環境 n Anto Scaling n 仮想化 n クラウドインフラ n Blue Green Deployment n Software Defined *** n コンテナ 新しい技術が n Immutable n インフラ調達のスピードアップ Infrastructure n リソースの柔軟性 1 n ハードウェア運用からの解放 n コストは使った分だけ ver.1 ver.2 ver.3 これまで無かった価値を提供してくれるようになった 2 1 Copyright 2017 TIS Inc. All rights reserved. 26

27 IT インフラエンジニアの課題 だけど IT インフラエンジニアは 従来の課題をクリアしつつ 技術の変化にも対応しないといけない板挟み状態 OLD NEW Copyright 2017 TIS Inc. All rights reserved. 27

28 Infrastructure as Code IT インフラエンジニアを悩ませる課題の解決策のひとつが IT インフラの自動化 n インフラ調達のスピードアップ n リソースの柔軟性 n ハードウェア運用からの解放 n コストは使った分だけ n ITインフラのソフトウェアによる抽象化 Copyright 2017 TIS Inc. All rights reserved. 28

29 Infrastructure as Code IT インフラの構成を プログラムのコードで管理する手法 - name: network configurajon os_network: cloud: demo name: demo_network - name: subnet configurajon os_subnet: cloud: demo name: demo_subnet network_name: demo_network cidr: /24 - name: router configurajon os_router: cloud: demo name: demo_router network: provider interfaces: demo_subnet = イコール - name: instance configurajon os_server: cloud: demo name: demo_instance_{{ item }} image: cirros flavor: m1.nano network: demo_network with_items: [1,2,3] Copyright 2017 TIS Inc. All rights reserved. 29

30 Infrastructure as Code 構成管理ツールによって コードに基づきインフラが構成される コードは何度実行しても同じ状態に収束するため ( 冪等性 ) コード = 構成である コード 構成管理ツール Deploy / Install / Config 何回実行しても同じ状態 Copyright 2017 TIS Inc. All rights reserved. 30

31 Infrastructure as Code コード化することで ソフトウェア開発の手法をインフラに適用することができる ようやく n バージョン管理 n 繰り返し可能なビルド n テスト! n 継続的インテグレーション (CI) n 継続的デリバリ (CD) Copyright 2017 TIS Inc. All rights reserved. 31

32 IaC 推進に向けての課題 しかしながら すぐに IaC を実践できるわけではない やり方が変わる コードアレルギー 学習 育成コスト 時間がないという言い訳 Copyright 2017 TIS Inc. All rights reserved. 32

33 TIS の取り組み 課題に対する 2 方向のアプローチ たぶんこれが王道 ハードル DOWN コードライブラリ フレームワーク スクリプト ツール スキル UP 社内勉強会 セルフハンズオン ナレッジ公開 案件利用支援 Copyright 2017 TIS Inc. All rights reserved. 33

34 Project SHIFT & SHIFT ware Copyright 2017 TIS Inc. All rights reserved. 34

35 Project SHIFT / SHIFT ware とは コンセプト : 従来の ( 延長線の ) やり方から転換 ( ユーザ目線で ) 便利な インフラ標準フレームワーク 内容 : Standard Helpful Infrastructure Framework of TIS Ansible Serverspec に関連するコード集 コードライブラリを利用するためのフロントエンドツール 結果として 品質 生産性向上につなげる! Copyright 2017 TIS Inc. All rights reserved. 35

36 SHIFT ware とは Infrastructure as Code を誰でも利用しやすく ハードル DOWN コードライブラリ フレームワーク スクリプト ツール スキル UP 社内勉強会 セルフハンズオン ナレッジ公開 案件利用支援 Copyright 2017 TIS Inc. All rights reserved. 36

37 SHIFT ware とは ( 全体像 ) ユーザ.s h.sh.sh 呼び出し Ansible コード群 動設定 および テスト サーバ群.xlsx インタフェース スクリプト 設定ファイル 成ツール 設定ファイル Serverspec コード群 実 ログ / テスト結果 Copyright 2017 TIS Inc. All rights reserved. 37

38 SHIFT ware とは 実体は Ansible Serverspec のコード集 コードライブラリを利用するための フロントエンドツール Copyright 2017 TIS Inc. All rights reserved. 38

39 SHIFT ware で出来ること OS の 自動設定 / 自動テスト ミドルウェアの 自動インストール / 自動設定 / 自動テスト OrchestraJon OrchestraJon App Cluster/Integrate ConfiguraJon MW Config Install SHIFT Bootstrapping OS HW Config Install Deploy Copyright 2017 TIS Inc. All rights reserved. 39

40 SHIFT ware で出来ること IaC の準備 ~ 実行まで トータルでサポート Linux Linux Linux Linux Linux Linux ALL SHIFT パラメータ準備 Linux Linux and more... Ansible Serverspec Win Win Win Win Win Win 実行マシン構築 Win Win and more... コーディング 自動設定自動テスト Copyright 2017 TIS Inc. All rights reserved. 40

41 提供するもの - Roles リポジトリに実装されているロールはコーディングレスで自動設定 テストが可能 コーディング不要 Copyright 2017 TIS Inc. All rights reserved. 41

42 提供するもの - Linux Roles Linux Roles _Base _apache _Tomcat _postgreSQL _openJDK _PrivateCA _RedHatSatellite _JP1Agents _OracleClient _OracleJRE _LogstorageAgent _DynatraceAgent _DeepSecurityAgent _UnixAgentForLDAPManager _ES1Acquire _ES1Logscn Linux Base Tasks _Hosts _Resolv _Service _Ntp _Selinux _Crontab _Lang _Logrotate _Nsswitch _Sshd _Snmp _Syslog _OSGroup _PasswordRules _SystemRunLevel _InterfaceNmcli _OSUser.yml _Kdump _Keyboard _Timezone _Grub _Interface _Network _Route _Bonding _SetDirectory 公開するものとは差異があるかもしれません Copyright 2017 TIS Inc. All rights reserved. 42

43 提供するもの - Windows Roles Windows Roles _Base _Cygwin _JP1Agents _OracleClient _LogstorageAgent _DeepSecurityAgent _LDAPManagerWindowsAgent _ES1Acquire _ES1Logscn Windows Base Tasks _Memory _User _UserGroup _Uac _Timezone _RecoverOs _Directory _Hostname _Interface _Routing _Firewall _Teaming _Domain _IPv6Disable _DnsSuffix _NameResolve _Feature _Service _Rdp _ErrorReport _WinUpdate _Owner _EventLog _Registry _PsExecPolicy _Organization 公開するものとは差異があるかもしれません Copyright 2017 TIS Inc. All rights reserved. 43

44 提供するもの - Tools 構成ではなく 動作を定義するコードを Tool として公開 Ansible Serverspec を実行するための事前 事後設定も SHIFT で自動化 SHIFT_Tools Linux Tools _PreDev 設定 _PostDev 戻し _CreateCSR _SignCert _IshigakiSampleApp Windows Tools _PreDev 設定 _PostDev 戻し _HotfixWin SELiunx 無効化 SHIFT 用ユーザ作成 sudo 設定 SSH 鍵設定 etc... WinRM 有効化 Win2012 HotFix 適用 etc... 公開するものとは差異があるかもしれません Copyright 2017 TIS Inc. All rights reserved. 44

45 提供するもの - Excel2YAML SIer は Excel が大好きらしい Excel2YAML とは Ansible Serverspec のパラメータファイルを Excel で作成できるツール ( おまけとして作ったが ウケがよく 需要は高い ) Copyright 2017 TIS Inc. All rights reserved. 45

46 提供するもの - Excel2YAML Property 設定 テストのパラメータを定義するファイル こっちの方がラクなんじゃないかと思うが Copyright 2017 TIS Inc. All rights reserved. 46

47 提供するもの - Excel2YAML Inventory 実行対象 ( ターゲット ) と実行する処理 ( ロール ) を定義するファイル Inventory これは ちょっとわかる! Ansible YAML Copyright 2017 TIS Inc. All rights reserved. 47

48 SHIFT ware を使ってカンタン IaC SHIFT ware Roles & Tools SHIFT Repository Linux Linux Linux Linux Linux Linux 今回は説明を省略したものもあります Excel2YAML Linux Linux and more... Ansible Serverspec Win Win Win Win Win Win Log SHIFT ware VM Template Win Win and more... Ansible-play Spec-play Copyright 2017 TIS Inc. All rights reserved. 48

49 SHIFT ware の利用シーン 1 SHIFT ware をそのまま使う SHIFT ware でできることは SHIFT ware で できないことは手動で 例 ) ランレベル Task SHIFT ware 手動 ユーザ グループ インターフェース設定 パッケージの追加 SYSLOG 設定 ログローテーション設定 VNC 設定 サービス自動起動 Copyright 2017 TIS Inc. All rights reserved. 49 手作業でやっちゃった部分が混じると後々困らないか? はわかった上で

50 SHIFT ware の利用シーン 2 SHIFT ware をカスタマイズする 部分的な追加 変更はそんなに難しくない なるべくこちらのパターンで利用して欲しい 例 ) パッケージのインストール処理をロールに追加 # Task - name: _Package Install yum: name: {{ item.name }} with_items: base_advanced.packages # host_vars packages: - name: hxpd - name: posyix # main.yml - include:./ _package.yml Copyright 2017 TIS Inc. All rights reserved. 50

51 SHIFT ware の利用シーン 3 テストメインで使う 手作業で構築した部分のテストや 他者が構築したサーバの受け入れ確認を Serverspec で ちょっと変わり種かも No SHIFT ware SHIFT ware 手動構築 Serverspec でテスト 他チームやベンダにて構築 Copyright 2017 TIS Inc. All rights reserved. 51

52 SHIFT ware" 公開 Copyright 2017 TIS Inc. All rights reserved. 52

53 公開のねらい l Infrastructure as CodeにおけるSIer( ならでは ) としてのSI 市場でパイオニア地位確立 TISのSIerとして 他社にない強みはなんだ? と言われた時に より具体的に表現できるものの 1つとして確立したい l 市場価値向上 労働生産性に関連する国策への社会貢献 ~IT エンジニアの働き方改革への貢献 ~ IT 企業 ( 日本の SIer は特に ) の長時間労働が問題視されているのは明らかで それに対して 元々品質生産性向上の施策として活動していた本取り組みの成果物エッセンスを対外的に公開することで 同業他社やユーザ等にも影響を及ぼし ひいては結果として IT 業界 /SI 市場での長時間労働の軽減や労働生産性の向上に貢献する 社会貢献 Copyright 2017 TIS Inc. All rights reserved. 53

54 SHIFT ware ~ 沿革 技術施策 作業レス化 スタート SHIFT PJ スタート 0.x 1.2 SHIFT ware 本部内リリース 2.0 ISHIGAKI template マージ SHIFT ware 全社リリース OSS 化 3.x 9 Copyright 2017 TIS Inc. All rights reserved. 54

55 ロードマップ Master branch 1.0 Linux Base OSS Role E2Y 1.X Win Base 2.0 Role 2.x Additional Role 3.0 Dev branch SHIFT ware X.X Operation Tools (XXX) Win Base Role Role by PullRequest ISSUE/PR GI Contributor Committer 主管部署 主管部署 Social dev 主管部署 + 賛同する外部スキルフルメンバ増員 Contents README github.io and wiki 商標登録完了 初期リリース 2017/9 パートナ企業と協業企画 共同プロモ ソーシャル開発 移 完了 最終型 2018/4 2018/ /4 Copyright 2017 TIS Inc. All rights reserved. 55

56 IaC のスキルアップに向けて l ゆくゆくは SHIFT ware ユーザの誰もが l Operator から Contributor / Committer へ generalization maintenance SHIFT ware Repository git clone Coding SHIFT ware 管理者 Pull Request SHIFT ware ユーザ Copyright 2017 TIS Inc. All rights reserved. 56

57 成果の公開に向けたあれやこれや 面倒なこといろいろ Copyright 2017 TIS Inc. All rights reserved. 57

58 あれやこれや l 何をどこまで公開する? 公開できる? 問題 l 承認問題 l そもそも承認方法や承認者が決まってる? l クオリティ問題 l 既存コードの品質, コード規約,CI の仕組み,etc l ライセンスは何を選ぶ? 問題 l リポジトリをどこに置く問題 ( 社外は GitHub! 社内はどうする?) l 名称と商標 l コミュニティの形成 ( 立ち上げ ) l プロモーション l 公開しちゃった後どうする? 問題 Copyright 2017 TIS Inc. All rights reserved. 58

59 ( 配布しません ) 世間に出すならクオリティもそれなりにしたい Copyright 2017 TIS Inc. All rights reserved. 59

60 ( 配布しません ) 開発以外にやることが盛りだくさん Copyright 2017 TIS Inc. All rights reserved. 60

61 ( 配布しません ) タスク & スケジュール Copyright 2017 TIS Inc. All rights reserved. 61

62 おわり! の前に Copyright 2017 TIS Inc. All rights reserved. 62

63 メッセージとしてお伝えしたいこと 1 l やりたいことを大げさに表現すれば, SI 業界の 工業化 ( 今回の対象は IT インフラ分野 ) 今は家内制手工業 l IT インフラ屋だって, できるところから 楽をすること を考えよう l どこの会社でもやりたいことは, だいたい同じ 実際, 同じことをやってる l 道具箱に入れる基本セットは同じ方が良い その使い方も l SHIFT ware は, 基本的な道具とその使い方 使ってくれる人が一人でも /1 社でも多い方が嬉しい l ( 競争は, これより 上 のところで ) Copyright 2017 TIS Inc. All rights reserved. 63

64 メッセージとしてお伝えしたいこと 2 l これから公開する SHIFT ware を, つまみ食い / 冷やかしでいいので覗いてみてください l できればコミュニティに登録して, ご意見などいただけるとありがたいです l 使うだけでも, 要望を言うだけでも,OSS への貢献です l さらに欲を言えば, 作ったもの, 改良したものを 提供していただけると, たいへんにうれしいです Copyright 2017 TIS Inc. All rights reserved. 64

65 SHIFT ware 公開! 2017 年 9 月下旬 ( 予定 ) コミュニティ SHIFT ware ユーザーグループ お問い合わせなど shiftware@googlegroups.com すみませんが, 来月までお待ちください Copyright 2017 TIS Inc. All rights reserved. 65

66 THANK YOU