リスト1 ローカルホストからリモートホスト上のシェルを実行するシェル 1 #!/bin/ush -xve 2 # システム名 :USPシステム 3 # サブシステム名 : 仕入伝票 4 # プログラム名 :LV4 作成 5 # 概要 :LV3からLV4 作成 < 親シェ

Size: px

Start display at page:

Download "リスト1 ローカルホストからリモートホスト上のシェルを実行するシェル 1 #!/bin/ush -xve 2 # システム名 :USPシステム 3 # サブシステム名 : 仕入伝票 4 # プログラム名 :LV4 作成 5 # 概要 :LV3からLV4 作成 < 親シェ"

さわすみい
7 years ago
Views:

1 ユニケージ開発手法コードレビュー USP 研究所技術研究員 written by 大内智明 Vol.25 ローカルホストからリモートホスト上のシェルスクリプトの実行について説明します業務で使用するサーバはネットワーク上に複数台存在していますサーバ内で起動する処理は自身で処理が終了する場合もあれば他サーバとの相互通信が必要な場合もあります他サーバとの相互通信は相手サーバの状態 (データ更新の有無バッチの開始 / 終了など) を確認したり互いのバッチプログラムを実行したりします今回紹介するケースは自サーバ内で集めたデータを相手サーバ(リモート先 )に転送して相手サーバ上で実行し転送したデータを相手サーバ上に展開するシェルスクリプトになります( 図 1) ネットワークでつながったサーバ間ではお互いにデータの通信やコマンドシェルスクリプトを実行することができます( 図 2) 補足パスワードなしでログインして実行するには公開鍵の設定が必要になります図 1 サーバは相互に通信しているネットワーク上に複数台のサーバが存在ネットワーク同士はお互いの状態を確認したりデータ転送互いのバッチプログラムの実行を行いますデータ転送相手サーバのプログラム実行状態確認図 2 リモートホスト上のシェルスクリプトを実行するローカルホストリモートホストローカルホストリモートホストローカルホストリモートホスト作成配信 A001 A002 B001 ❶ ローカルホスト上にデータを作成する ❷ データをリモートホストに配信する実行 ❸ ローカルホストからリモートホスト上のシェルスクリプトを実行してデータを加工しますローカルホスト上に❶❷❸の実行を行います ❸はリモートホスト上で実行してデータ加工しますローカルホストからリモートホスト上のコマンドを実行する方法 ssh <リモートホスト> 実行コマンド April

2 リスト1 ローカルホストからリモートホスト上のシェルを実行するシェル 1 #!/bin/ush -xve 2 # システム名 :USPシステム 3 # サブシステム名 : 仕入伝票 4 # プログラム名 :LV4 作成 5 # 概要 :LV3からLV4 作成 < 親シェル> 6 # 備考 (Usage) : LV4MAKE.DAY.SIRE_DENPYOU [ 処理日 ] [ 店舗コードファイル] 7 # 作成日 :20xx/xx/xx 8 # 会社名 :Usp-lab 9 # 作成者 :xxx #/////////////////////////////////////////////////////////////////////////////// 12 # 初期設定 13 #/////////////////////////////////////////////////////////////////////////////// 14 < 中略 > # # 変数の定義 18 # tmp=/tmp/$$-$(basename $0)_$(date +%Y%m%d%H%M%S) # 一時ファイル 20 hostname="$(ghostname)" # サーバ名 21 semd="${home}/ap/semaphore" # セマフォディレクトリ 22 lv3d=/home/data/lv3 # LV3ディレクトリ 23 ppid=$$ 24 sday=$(date +%Y%m%d) 25 apserver=$(msctrl -ctrl C -msflg M -job DENPYOAP -print host) # 伝票 APホスト名の取得 # 引き数の確認 28 [ $# -ne 2 ] && ERROR_EXIT ymd=$1 # パラメータより月次 31 TenpoCdfile=$2 # 店舗 CDのリスト #/////////////////////////////////////////////////////////////////////////////// 34 # データ処理部 35 #/////////////////////////////////////////////////////////////////////////////// # ファイル存在チェック 38 echo ${lv3d}/denpyou/??????/denpyo_header_siire/day/tbl/${ymd}.gz 39 ugrep -v '\?' 40 tarr 41 self # 1:フルパス 2: 店舗 CD 43 cjoin0 key=2 ${TenpoCdfile} - 44 self 1 45 xargs zcat 46 lineup 1 2 > $tmp-yyyymm_ten 47 # 1: 伝票年月 2: 店舗コード # ヘッダ情報 50 cat $tmp-yyyymm_ten 51 while read yyyymm tenpocode ; do 52 [! -f ${lv3d}/denpyou/${tenpocode}/denpyo_header_siire/dym/rireki/${yyyymm}.gz ] && continue 53 zcat ${lv3d}/denpyou/${tenpocode}/denpyo_header_siire/dym/rireki/${yyyymm}.gz 54 done 55 # 全件ヘッダから最新伝票を抽出する 56 awk '$(NF-2) <= "'${ymd}'"' 57 getlast 1 9 > $tmp-header.all.now ugrep はユニケージコマンド grep に相当 cjoin0はユニケージコマンド画面 1(P.26) 参照 self はユニケージコマンド指定したフィールドを取り出す lineup はユニケージコマンド指定したフィールドのデータのラインナップを取り出す getlast はユニケージコマンド画面 2(P.26) 参照 ❶ 23

3 58 59 # 明細情報 60 cat $tmp-yyyymm_ten 61 while read yyyymm tenpocode ; do 62 [! -f ${lv3d}/denpyou/${tenpocode}/denpyo_meisai_siire/dym/rireki/${yyyymm}.gz ] && continue 63 zcat ${lv3d}/denpyou/${tenpocode}/denpyo_meisai_siire/dym/rireki/${yyyymm}.gz 64 done 65 # 全件明細から最新伝票を抽出する 66 awk '$(NF-2) <= "'${ymd}'"' 67 getlast 1 10 > $tmp-meisai.all.now # 伝票 APサーバのAP/LV4 以下に展開するためデータをコピー 70 scp $tmp-yyyymm_ten ${apserver}:/tmp < /dev/null # 1: 伝票年月 2: 店舗コード 71 scp $tmp-header.all.now ${apserver}:/tmp < /dev/null # 仕入伝票ヘッダ 72 scp $tmp-meisai.all.now ${apserver}:/tmp < /dev/null # 仕入伝票明細 73 # scpで送信していても 74 # 配信先のサブシェル内で転送したファイルがないとエラーが発生することがあるため 75 # すべてのscpがちゃんと行われるまでwaitで待つ 76 wait 77 #/////////////////////////////////////////////////////////////////////////////// 78 # 伝票 APサーバ内のサブシェルを実行 79 #/////////////////////////////////////////////////////////////////////////////// 80 shl=lv4make.day.sire_denpyou_tenkai 81 dentenfile=$tmp-yyyymm_ten 82 sireheader=$tmp-header.all.now 83 siremeisai=$tmp-meisai.all.now 84 lv4maked=${home}/ap/denpyou/shell # 配信先でサブシェルを起動 87 ssh ${apserver} "${lv4maked}/${shl} ${ymd} ${dentenfile} ${sireheader} ${siremeisai}" < /dev/null #/////////////////////////////////////////////////////////////////////////////// 90 # 終了 91 #/////////////////////////////////////////////////////////////////////////////// 92 < 中略 > ❶ ❷ ❸ リスト2 リモートホスト上で実行されるシェル 1 #!/bin/ush -xve 2 # システム名 :USPシステム 3 # サブシステム名 : 仕入伝票 4 # 業務名 : 仕入伝票 5 # プログラム名 :LV4 作成 6 # 概要 :LV3からLV4 作成 < 子シェル:LV4MAKE.DAY.SIRE_DENPYOUから呼び出される> 7 # 備考 (Usage) :LV4MAKE.DAY.SIRE_DENPYOU_TENKAI [ 処理日 ] [ 年月 - 店舗ファイル] [ 伝票ヘッダファイル] [ 伝票明細ファイル] 8 # 作成日 :20xx/xx/xx 9 # 会社名 :Usp-lab 10 # 作成者 :xxx < 中略 > 13 # # 変数の定義 15 # < 中略 > # 必要項目を追加 19 # 20 # 事業会社名称 April

4 21 cjoin2 +_ key=11 ${lv3d}/sonota/jgyk/tbl/jgykcd_jgykryaku ${headerdata} cjoin2はユニケージコマンド画面 3(P.26) 参照 22 # 発注先名称 23 cjoin2 +_ key=7 ${lv3d}/hachubtryu/hachusaki/tbl/hachucd_hachunm - 24 # 仕入先名 25 cjoin2 +_ key=6 ${lv3d}/hachubtryu/shiiresaki/tbl/shiirecd_shiirenm - 26 # 店舗名 27 cjoin2 +_ key=2 ${lv3d}/tenpo/tenpo/tbl/tenpocd_tenponm - 28 maezero 18.3 > $tmp-shire_header.new ## 単票 L4 31 # 32 # 必要項目を追加 33 cjoin2 +"_" key=16 ${tmp}-shohn_chubnr_cd_nm ${meisaidata} 34 maezero maezero maezero 11.3 > $tmp-shire_meisai.new # LV4ファイルを伝票年月店舗毎に一時置き 39 # 40 # 伝票年月 / 店舗 CD 毎でのまとめと置き換え 41 keycut $tmp-denpyo_header_siire.%1.%2 < $tmp-shire_header.new 42 keycut $tmp-denpyo_meisai_siire.%1.%2 < $tmp-shire_meisai.new # 順番に一時ファイルを正式ファイルに変更 45 while read yyyymm tenpocode ; do 46 lockfile=${lv4d}/${tenpocode}/denpyo_header_siire/${yyyymm}.lock mkdir -p ${lv4d}/${tenpocode}/denpyo_header_siire 49 mkdir -p ${lv4d}/${tenpocode}/denpyo_meisai_siire # 伝票年月 / 店舗 CDで排他処理 52 if ulock --timeout=600 --invalid=0 ${lockfile} 53 then true 54 else HAITA_ERROR_EXIT 55 fi 56 # 排他制御の解除を行う際に自プロセスを使用 57 echo ${ppid} > ${lockfile} if [ -s $tmp-denpyo_header_siire.${yyyymm}.${tenpocode} ] ; then 60 # 一覧 61 mv $tmp-denpyo_header_siire.${yyyymm}.${tenpocode} ${lv4d}/${tenpocode}/denpyo_header_siire/${yyyymm} 62 # 単票 63 mv $tmp-denpyo_meisai_siire.${yyyymm}.${tenpocode} ${lv4d}/${tenpocode}/denpyo_meisai_siire/${yyyymm} 64 else 65 : > ${lv4d}/${tenpocode}/denpyo_header_siire/${yyyymm} 66 : > ${lv4d}/${tenpocode}/denpyo_meisai_siire/${yyyymm} 67 fi # 更新完了後に店舗年月毎にロックを解除する 70 UNLOCK 71 done < ${ymtenpo} # 一時保存先のディレクトリを削除 74 rm -rf ${headerdata} ${meisaidata} ${ymtenpo} < /dev/null #/////////////////////////////////////////////////////////////////////////////// 77 # 終了 78 #/////////////////////////////////////////////////////////////////////////////// 79 < 中略 > maezero はユニケージコマンド画面 4(P.26) 参照 keycut はユニケージコマンド画面 5(P.26) 参照 ulock はユニケージコマンド画面 6(P.26) 参照 ❹ ❺ 25

5 画面 1 cjoin0 画面 4 maezero keyが一致するデータを出力 $ cat master 杉山 26 F 崎村 50 F 梶川 42 F $ cat tran $ cjoin0 key=1 master tran 画面 2 画面 3 getlast 同一キーの最後の行を出力する $ cat data セロリセロリセロリ練馬大根練馬大根練馬大根 $ getlast 1 2 data セロリ練馬大根 cjoin2 キーがmasterと一致するtranは master 項目を付与する masterと一致しないtranはダミーデータを付与する $ cat master 杉山 26 F 崎村 50 F 梶川 42 F $ cat tran $ cjoin2 +@ key=1 master tran > ok-data $ cat ok-data 崎村 50 F @ @ @ 杉山 26 F 梶川 42 F 前にゼロを付ける $ cat data $ maezero data 画面 5 keycut キーでファイル分割する (キーについて要ソート) $ cat data 01 埼玉県 03 熊谷市埼玉県 01 さいたま市東京都 04 新宿区東京都 05 中央区 $ keycut data.%1 data $ ls -l data.* -rw-rw-r-- 1 usp usp 87 3 月 6 00:00 data.01 -rw-rw-r-- 1 usp usp 82 3 月 6 00:00 data.02 $ cat data 埼玉県 03 熊谷市ファイルに 01 埼玉県 01 さいたま市分割される画面 6 ulock 排他制御コマンド if ulock lock; then # # 読み書きなどの処理 # rm -f lock fi lockファイルを作成してから lockファイルを削除するまでの間が完全排他区間となっている April

6 リスト1 ローカルホストからリモートホスト上のシェルを実行するシェル [1] データを集める(リスト1:❶38 67 行目 ) [2] 集めたデータを相手サーバ(リモートホスト)に転送 (リスト1:❷69 75 行目 ) [3] リモートホスト上のシェルスクリプト(コマンド) 実行 (リスト1:❸80 87 行目 ) ユニケージ開発では中規模以上の業務システムを開発する際には業務単位で複数台のサーバに分けた分散型のシステムを構築することがよくあります分散型の場合には共通データをそれぞれのサーバ内に持ち合っています( 共有 ) 共通データを持つことは自身で作成したデータを相手サーバ(リモート先 ) 上で実行したい際に同じ条件で共通データを使用してデータの展開を行うことができますリスト2 リモートホスト上で実行されるシェルスクリプト [4] マスタ項目を LV 4 データに付与 (リスト2:❹33 42 行目 ) [5] L V 4 を更新 ( リスト2:❺45 71 行目 ) ローカルホストからリモートホスト上のスクリプトを実行することは高負荷の処理を他サーバへの分散処理やデータのリモート先への展開といったローカルホストだけではできない処理を実現できますユニケージには共有と固有の考え方があります共有とは同じもののコピーがすべてに行きわたっている状態固有とは同じものが1つにのみ所有されている状態コマンド学習編に続いてシェルスクリプト学習編発刊! nicage software development method 実践ユニケージ開発手法コマンド学習編 ISBN 本体 3,500+ 税 B5 変形 / 170 頁本書は独特な方法でシステムを構築するユニケージ開発手法の基本を理解し習得するための実践教材です対象となる読者は基本的な UNIX/Linux の知識 ( 端末コマンドファイルの概念パス標準入出力リダイレクションなど)がある方ですここではユニケージ開発手法において使用頻度の高いコマンドの使い方とくに grep コマンド sed コマンド awk コマンドをはじめとした基本的な UNIX コマンド usp Tukubai コマンド(ユニケージコマンド)について詳しく解説します豊富な練習問題で効果的にコマンド操作を体得できますシェルスクリプト学習編 ISBN 本体 3,500+ 税 B5 変形 / 134 頁本書は独特な方法でシステムを構築するユニケージ開発手法の基本を理解し習得するための実践教材です対象となる読者は基本的な UNIX/Linux の知識 ( 端末コマンドファイルの概念パスなど)があることまたユニケージ開発手法 01 コマンド学習編の内容を理解している方ですここではコマンド学習編で学んだコマンドを組み合わせてデータ処理を行うシェルスクリプトの作成に必要な bash の文法や機能について学習しユニケージの作法にしたがってシェルスクリプトでプログラミングを行う練習も行います 27

シェルスクリプトマガジン vol.30

シェルスクリプトマガジン vol.30 ユニケージ開発手法コードレビュー USP 研究所技術研究員 written by 大内智明 Vol.19 更新したファイルを相手サーバに配信する方法について説明します今回は前回に引き続いて店舗や商品といったマスタ関連のファイルがどのように管理されて各業務サーマスタ関連のファイルは一般的に種類も多くサイズも大小様々なものがありますそこで毎回全マスタの配信を行わないようにするために

リスト1 ローカルホストからリモートホスト 上 のシェルを 実 行 するシェル 1 #!/bin/ush -xve 2 # システム 名 :USPシステム 3 # サブシステム 名 : 仕 入 伝 票 4 # プログラム 名 :LV4 作 成 5 # 概 要 :LV3からLV4 作 成 < 親 シェ

リスト1 ローカルホストからリモートホスト上のシェルを実行するシェル 1 #!/bin/ush -xve 2 # システム名 :USPシステム 3 # サブシステム名 : 仕入伝票 4 # プログラム名 :LV4 作成 5 # 概要 :LV3からLV4 作成 < 親シェ