Microsoft PowerPoint - コピー～ SUGI-J2011_proceeding_Takumi_Sakoda配布用ロゴあり.ppt [互換モード]

Size: px

Start display at page:

Download "Microsoft PowerPoint - コピー～ SUGI-J2011_proceeding_Takumi_Sakoda配布用ロゴあり.ppt [互換モード]"

おきまさももき
6 years ago
Views:

1 SAS メタデータのバッチ登録迫田英之株式会社タクミインフォメーションテクノロジーシステム開発推進部 Registering SAS Metatadata Objects in batch execution Hideyuki Sakoda System Development Dept., Takumi Information Technology Inc.

2 要旨 : SAS BI Server, SAS Data Integration Server などの SAS プラットフォーム製品はユーザーテーブルストアドプロセスといった管理対象オブジェクトを SAS Metadata Server に登録することで初めて利用可能となる SAS Metadata Server へのオブジェクト登録は通常 SAS 管理コンソールによる手動操作で実行するが本論文では大量登録や自動連携の仕組みを構築する際に必要となるバッチ ( 一括 ) 実行方法を紹介するキーワード : プラットフォーム SAS システム 2

3 はじめに SAS Data Integration Server, SAS Enterprise BI Server 環境下では一般的には 1. SAS 管理コンソールでユーザーとグループを登録 2. SAS Data Integration Studio でテキストデータ外部データベースキューブ SAS データセットをテーブル登録 3. SAS Enterprise Guide でストアドプロセスを作成登録 4. SAS Information Map Studio でインフォメーションマップを作成登録 5. SAS Web Report Studio でレポートを作成登録というように GUI ツールを用いて人データ処理を定義し SAS メタデータとして登録される (4.,5. は Web 環境用 ) この度ユーザー情報を複数システム間で自動的に連携する仕組み ( 当社は SAS サーバー部分のみ ) の構築を受託することになりバッチ登録が必要となったその時に調査検証したことを紹介する 3

4 バッチ登録方法の分類以下にメタデータオブジェクト種類毎に可能なバッチ登録方法を示すオブジェクト種類 User Import Macros ユーザーグループテーブルキューブインフォメーションマップストアドプロセス Proc METADATA メタデータ用 DATA ステップ関数 Proc METALIB Proc OLAP Proc INFOMAPS : 可能だが容易ではない別途メタデータのエクスポート / インポートツールあり 4

5 ユーザーグループ登録方法の検討ユーザーグループ登録方法としてまず User Import Macros を検討した受託したシステムの要件 ) 差分情報のみ連携される User Import Macros の仕様 ) 新規のユーザーグループ登録が可能ユーザーグループのマスター情報は全件読めることが必要以上から User Import Macros の利用をあきらめた User Import Macros は!SASROOT SAS SASFoundation 9.2 core sasmacro に格納されており閲覧可能主に proc METADATA を使用していたことがわかった従って proc METADATA 使用の検討に入った User Import Macros の詳細情報は以下に記載 SAS(R) 9.2 Intelligence Platform: Security Administration Guide htm 5

6 proc METADATA の input/output は何か構文 ) proc METADATA IN= ファイル参照名 1 out= ファイル参照名 2 header=full; run; SAS メタデータは SAS Metadata Model と呼ばれる階層構造でできているが Proc Metadata の input には IOMI メソッドを output ファイルは SAS Metadata Model そのもののデータ構造を XML で受け取ることがわかったそのためまず SAS Metadata Model を理解することにした proc METADATA の詳細情報は以下に記載 SAS(R) 9.2 Language Interfaces to Metadata metadata.htm SAS Metadata Model の詳細情報は以下に記載 SAS(R) 9.2 Metadata Model: Reference #titlepage.htm IOMI メソッドの詳細情報は以下に記載 SAS(R) 9.2 Open Metadata Interface: Reference and Usage htm 6

7 SAS Metadata Model の構造概要 SAS Metadata Model は様々な Type に分類される ( 例 :Person: 人 PhysicalTable: テーブル ) オブジェクトは ID と Property を持つ Property は Attribute と Association からなる Association は階層構造上子に位置する Type であるユーザーやグループに関するType( 主要なもの ) Identity Person ( ユーザー ) IdentityGroup ( グループ ) Login ( ユーザー ID, パスワード ) AuthenticationDomain ( 認証ドメイン ) Person の Attribute Name, PublicType, UsageVersion, MetadataCreated, MetadataUpdated Person のAssociation ExternalIdentities (Type=ExternalIdentity) IdentityGroups (Type=IdentityGroup) <= ユーザーとグループの紐付け Logins (Type=Login) <= ユーザーとユーザー IDの紐付け 7

8 metabrowse コマンド (SAS ウィンドウコマンド ) 8

9 SAS Metadata Model (XML 形式表記 ) 以下は Person パーソン 1 を XML 形式表記したものである ( 前ページと同じオブジェクト ) <Person Id="A5FST44Y.AN00000Q" Name=" パーソン1" Desc="" Title="" DisplayName=""> <ExternalIdentities> <ExternalIdentity Id="A5FST44Y.BF00000W" Context="IdentityImport" Identifier="P001" /> </ExternalIdentities> <IdentityGroups> <IdentityGroup Id="A5FST44Y.A300000Z" Name=" グループ1" /> </IdentityGroups> <Logins> <Login Id="A5FST44Y.AQ00000K" Name="D7CP88BX testuser1" Desc=" パーソン1 login" UserID="D7CP88BX testuser1" Password="********"> <Domain> <AuthenticationDomain Id="A5FST44Y.AP000001" Name="DefaultAuth"> <ExternalIdentities /> </AuthenticationDomain> </Domain> </Login> </Logins> メタデータのID 形式 < Addresses /> 全てのオブジェクトはユニークなIDを持ち <Locations /> その形式はリポジトリID. オブジェクトID <PhoneNumbers /> </Person> 9

10 Proc METADATA の指定方法と準備 options metaport=8561 metaserver="localhost" metapass= xxxxx" metarepository="foundation" ; 出力 XML は改行なしのため大きい値を指定 filename request D: temp req.xml ; filename response D: temp res.xml lrecl= ; proc METADATA in=request out=response header=full; run; 出力 XML に以下のヘッダー行を付与 ( 日本語版の場合は以下の通り ) <?xml version="1.0" encoding="shift_jis"?> 10

11 Proc METADATA の input (IOMI メソッド ) 以下は Type:Person を全て表示 ( ただし Attribute は Id,Name) させる IOMI メソッドである <GetMetadataObjects> <Reposid>$METAREPOSITORY</Reposid> <Type>Person</Type> <Objects/> <NS>SAS</NS> <Flags>0</Flags> <Options/> </GetMetadataObjects> システムオプション METAREPOSITORY で指定された値が使用表示のさせ方やオプション指定を制御 11

12 Proc METADATA の output 前ページを入力に proc METADATA 実行後の結果例は以下の通りである <?xml version="1.0" encoding="shift_jis"?> <GetMetadataObjects> <Reposid>A A5FST44Y</Reposid> <Type>Person</Type> <Objects> <Person Id="A5FST44Y.AN000001" Name="sasadm" /> <Person Id="A5FST44Y.AN000002" Name="sastrust" /> <Person Id="A5FST44Y.AN000003" Name="sasdemo" /> <Person Id="A5FST44Y.AN00000Q" Name=" パーソン 1" /> <Person Id="A5FST44Y.AN00000R" Name=" パーソン 2" /> <Person Id="A5FST44Y.AN000018" Name=" パーソン 3" /> <Person Id="A5FST44Y.AN0000S4" Name=" パーソン 4" /> </Objects> <NS>SAS</NS> <Flags>0</Flags> <Options /> </GetMetadataObjects> メタデータの ID 形式に変換される GetMetadataObject メソッドの結果が返る部分 12

13 Proc METADATA の input (IOMI メソッド ) (2) 以下は Type:Person を全て表示 (Person の Attribute は全て表示し Association は Id,Name のみ ) させる IOMI メソッドである <GetMetadataObjects> <Reposid>$METAREPOSITORY</Reposid> <Type>Person</Type> <Objects/> <NS>SAS</NS> <Flags>257</Flags> <Options/> </GetMetadataObjects> システムオプション METAREPOSITORY で指定された値が使用表示のさせ方やオプション指定を制御フラグを足しこんだ値を指定今回は OMI_ALL(1) + OMI_GET_METADATA (256) IOMI フラグの詳細情報は以下に記載 SAS(R) 9.2 Open Metadata Interface: Reference and Usage table.htm 13

14 Proc METADATA の output (2) 前ページを入力に proc METADATA 実行後の結果例は以下の通りである <?xml version="1.0" encoding="shift_jis"?> <GetMetadataObjects> <Reposid>A A5FST44Y</Reposid> <Type>Person</Type> <Objects> <Person Id="A5FST44Y.AN000001" Name="sasadm" ChangeState="" Desc="" DisplayName="SAS Administrator" LockedBy="" MetadataCreated="05Dec2010:13:40:18" MetadataUpdated="05Dec2010:13:40:18" PublicType="User" Title="" UsageVersion=" "> <AccessControlEntries> <AccessControlEntry Id="A5FST44Y.A500006X" Name="AJ00001Y:A500006X" Desc="" /> </AccessControlEntries> <AccessControls /> <AssociatedHomeFolder> <Tree Id="A5FST44Y.AJ00001X" Name="sasadm" Desc="" /> </AssociatedHomeFolder>... 略... 14

15 Proc METADATA の input (IOMI メソッド ) (3) IOMIフラグを用いて出力項目を制御 (Template) したりフィルタ (XMLSelect) をかけることができる <GetMetadataObjects> <Reposid>$METAREPOSITORY</Reposid> <Type>Person</Type> <Objects/> <NS>SAS</NS> <Flags>388</Flags>  <Options> <XMLSelect search="person[@name = ' パーソン1']"/> フィルタ条件指定 <Templates> <Person Id="" Name="" Desc="" title="" DisplayName=""> <ExternalIdentities /> <Logins /> < Addresses /> <Locations /> <PhoneNumbers /> </Person> <ExternalIdentity Context="" Identifier="" /> <Login Id="" Name="" Desc="" UserId="" Password="" > <Domain /> 15 </Login> 以下略

16 Proc METADATA の input をどのように作成するか Proc METADATA の input はテキスト XML である様々な方法が考えられるが以下は DATA ステップで作成する例である ( パラメータをセットする方法にも対応しやすい ) filename request temp; data _null_; file request; put '<GetMetadataObjects>'; put ' <Reposid>$METAREPOSITORY</Reposid>'; put ' <Type>Person</Type>'; put ' <Objects/>'; put ' <NS>SAS</NS>'; put ' <Flags>257</Flags>'; put ' <Options/>'; put '</GetMetadataObjects>'; run; 16

17 Proc METADATA の output をどのように扱うか Proc METADATA の output は XML である列情報は SAS Metadata Model に従う XML エンジンの Libname が利用できる MAP ファイルが必要となる以下は DATA ステップで MAP ファイルを作成する例である filename usermap temp; data _null_; file usermap ; put '<?xml version="1.0" encoding="shift_jis"?>'; put ' '; put '<SXLEMAP version="1.2" name="userinfomap">'; put ' '; put ' '; put ' <TABLE name="person">'; put ' <TABLE-PATH syntax="xpath">/getmetadataobjects/objects/person</table-path>'; put ' '; put ' <COLUMN name="id">'; put ' <PATH syntax="xpath">/getmetadataobjects/objects/person/@id</path>'; put ' <TYPE>character</TYPE>'; put ' <DATATYPE>string</DATATYPE>'; put ' <LENGTH>17</LENGTH>'; put ' </COLUMN>'; 17 ~ 略 ~

18 Proc METADATA の output をどのように扱うか (2) 以下は XML エンジンの LIBNAME 使用例である後続処理として DATA ステップ等で加工処理の入力として XML エンジンのライブラリは使用できないので別のライブラリ ( 以下の例では WORK) にコピーしておく Filename response temp; /* proc metadata の out */ Filename usermap temp; /* XML MAP ファイルのファイル参照名 */ ~MAP ファイル作成処理 ( 略 )~ LIBNAME metpinf XML xmlfileref=response xmlmap=usermap access=readonly; proc copy in=metpinf out=work; select person ; run; 18

19 更新系処理のバリエーションと IOMI メソッド今回そもそも本論文作成のきっかけとなったバッチ処理要件はユーザーとユーザーに対するグループの紐付けの差分情報が連携されるメタデータの権限はグループに設定されるがユーザーには設定されないユーザーに対するグループとの紐付け情報は連携されるがグループそのものの追加削除変更は連携処理としては実施しない (SAS 管理コンソール使用 ) 以上から権限設定情報をバッチ処理に組み入れ不要また環境として認証ドメインは DefaultAuth を使用し UNIX ホスト認証であった他の認証ドメインは存在しないこの場合メタデータリポジトリ内の各ユーザー毎のパスワードは使用されないためパスワードを無視してよいこのような条件と IOMIメソッドが出来ることを組み合わせると以下の処理バリエーションが出来上がったユーザー登録 AddMetadata メソッドユーザーに対するグループの紐付け ( 既存のグループ紐付け削除と新規のグループ紐付け追加の2 種類が必要 ) UppdateMetadata メソッドユーザー削除 DeleteMetadata メソッド実行前に必ずメタデータリポジトリのバックアップを取得すること 19

20 メタデータの追加 (AddMetadata) 1 ユーザーを追加する例を示す AuthenticationDomain のオブジェクト ID は事前に調べておく <AddMetadata> <Metadata> <Person Id="$Persons" Name=" パーソン 4" DisplayName=" " Desc=" " Title=" " PublicType="User" UsageVersion=" " > </Person> <Login Id="$Logins" Name=" パーソン 4" Desc=" " UserID="D7CP88BX testuser4" > <Domain> <AuthenticationDomain ObjRef="A5FST44Y.AP000001" /> </Domain> <AssociatedIdentity> $ が付く場合同一名と同じ値を意味し <Person ObjRef="$Persons" /> AddMetadataの時のIDは新規に付与されること </AssociatedIdentity> を意味する </Login> </Metadata> <Reposid>$METAREPOSITORY</Reposid> <NS>SAS</NS> <Flags> </Flags> OMI_TRUSTED_CLIENT <Options/> ( ) flag </AddMetadata> 20 更新系に当フラグは必須

21 メタデータの更新 (UpdateMetadata) (1) 1 ユーザーを更新 ( グループ紐付けを削除 ) する例を示す同一ユーザー (Person) に対して一度にグループ紐付けの削除と追加をすることは不可 <UpdateMetadata> <Metadata> <Person Id="A5FST44Y.AN0000S2"> <IdentityGroups Function="Remove"> <IdentityGroup ObjRef="A5FST44Y.A30000SC"/> </IdentityGroups> </Person> </Metadata> <NS>SAS</NS>  <Flags> </Flags> <Options/> </UpdateMetadata> 更新対象 Person のオブジェクト ID は事前に調べておく当該 Person の既存グループ (IdentityGroup) のオブジェクト ID は事前に調べておく OMI_TRUSTED_CLIENT ( ) flag 更新系に当フラグは必須 21

22 メタデータの更新 (UpdateMetadata) (2) 1 ユーザーを更新 ( グループ紐付けを追加 ) する例を示す同一ユーザー (Person) に対して一度にグループ紐付けの削除と追加をすることは不可 <UpdateMetadata> <Metadata> <Person Id="A5FST44Y.AN0000S3"> <IdentityGroups Function="Append"> <IdentityGroup ObjRef="A5FST44Y.A300000Z"/> </IdentityGroups> </Person> </Metadata> <NS>SAS</NS>  <Flags> </Flags> <Options/> </UpdateMetadata> 更新対象 Person のオブジェクト ID は事前に調べておく当該 Person の既存グループ (IdentityGroup) のオブジェクト ID は事前に調べておく OMI_TRUSTED_CLIENT ( ) flag 更新系に当フラグは必須 22

23 メタデータの削除 (DeleteMetadata) 1 ユーザーを削除し同時に削除したい Association を指定する方法を示す <DeleteMetadata> 削除対象 PersonのオブジェクトIDは事前に調べておく <Metadata> <Person Id="A5FST44Y.AN0000S3" TemplateName="myassns"/> </Metadata> <NS>SAS</NS>  <Flags> </Flags> <Options> <Templates> <Template TemplateName="myassns"> Associationを含め削除したオブジェク <Person> トIDをproc METADATA のout= で指定し <ExternalIdentities/> たXMLファイルに出力 <Logins/> < Addresses/> <Locations/> <PhoneNumbers/> Person 削除と同時に削除したい </Person> Associationを指定 </Template> </Templates> </Options> </DeleteMetadata> 23

24 おわりにユーザーグループ情報をバッチ登録する場合 User Import Macros が要件を満たせなかったのは残念だったが proc METADATA による方法でメタデータの情報取得登録とも要件を満たす処理を作ることが出来たこの proc METADATA による方法は原理的にどのようなオブジェクト Type でも対応できるものだが SAS Metadata Model というデータ構造を理解し実行方法やオプションを理解していくところでマニュアルが英語のみということもあり時間がかかった GetMetadataObjects 等を使った参照系処理はメタデータに登録されている情報からレポートを作成することにも使えるので部品としてプログラムを作っていくと管理作業が楽になると思われる SAS フォルダで参照可能なフォルダ構造は Type:Tree として参照可能であり今後 Tree を使用した参照処理を作ってみたいと思う 24

25 問い合わせ先株式会社タクミインフォメーションテクノロジーシステム開発推進部迫田英之 ( さこだひでゆき ) hideyuki.sakoda@takumi-it.co.jp Tel:

SAS Web XML * ** * ** Web Data Analysis with SAS Input and Output of XML Data and Application to Real Estate Valuation Map Junnosuke Matsushima*, Hiro

SAS Web XML * ** * ** Web Data Analysis with SAS Input and Output of XML Data and Application to Real Estate Valuation Map Junnosuke Matsushima*, Hiroshi Ishijima**, Ikue Watanabe *Clinical Research Planning

Microsoft PowerPoint - コピー ～ SUGI-J2011_proceeding_Takumi_Sakoda配布用ロゴあり.ppt [互換モード]

Microsoft PowerPoint - コピー～ SUGI-J2011_proceeding_Takumi_Sakoda配布用ロゴあり.ppt [互換モード]