Make the Future Java FY13 PPT Template

Size: px

Start display at page:

Download "Make the Future Java FY13 PPT Template"

ひでよりちづ
5 years ago
Views:

1 1

2 Batch Application for the Java Platform JSR352 NTT コムウェア株式会社技術 SE 部 OSS AP 技術担当上妻宜人 2

3 自己紹介上妻宜人 ( あげつまのりと ) NTT コムウェア株式会社勤務社内の Java/AP サーバの技術サポートを担当しています 3

4 バッチってなんだろう? 4

5 月次締め処理銀行勘定システム在庫管理深夜に起動 ( 非対話型 ) 計算量が多いジョブ順序制御並列実行 5

6 月次締め処理銀行勘定システム在庫管理深夜に起動 ( 非対話型 ) 多くの業種にバッチ処理 ( 会計金融流通 ) 計算量が多いジョブ順序制御並列実行 6

7 月次締め処理業種は違えど処理の背景は同じ銀行勘定システム在庫管理深夜に起動 ( 非対話型 ) 計算量が多いジョブ順序制御並列実行 7

8 月次締め処理銀行勘定システム在庫管理バッチに求められる機能も業種をまたがって同じ深夜に起動 ( 非対話型 ) 計算量が多いジョブ順序制御並列実行 8

9 異なる業種が類似の処理の背景を持って同じような機能を作る 9

10 D R Y!!! 同じことを何度も繰り返すべからず 10

11 標準化しよう IBM (Spec Lead) Oracle (Expert Group Member) RedHat ( 同 ) VMWare( 同 ) Credit Suisse ( 同 ) ユーザ企業による Java 貢献 11

12 JSR352 Batch Application for The Java Platform 12

13 jbatch は Java EE 7 へ Portable Extensions JSP 2.2 Servlet 3.1 JSP2.2 JSP2.2 CDI 1.1 Managed Beans 1.0 EJB 3.2 Connector 1.0 JSF 2.2 JAX-RS 2.0 EL 3.0 JPA 2.1 JTA 1.1 JMS 2.0 Concurrency Utilities for EE Batch Applications (JSR 352) Java API for JSON (JSR-353) Java API for WebSocket (JSR-355) が Java EE 7 で新たに盛り込まれる仕様 13

14 正式な仕様名は (Batch Application for the java Platform) とても長いので 14

15 ここからは jbatch で. 15

16 Program Agenda jbatch の概要アーキテクチャユーザは何を実装するのか Chunk 方式処理の流れ Spring Batch との違い Java SE / EE の違い 16 16

17 jbatch の概要 17

18 jbatch って何が仕様化されているの? どんなことができるの? 18

19 jbatch 仕様 3 つの構成 1. バッチ用語と関連性の定義 (DSL) JobOperator Job Step ItemReader ItemProcessor ItemWriter JobRepository 2. ジョブ XML の定義 <job id="samplejob"> <step id="step1"/> </job> 3. API の定義 public interface ItemReader { Object readitem(object item); } 19

20 jbatch 仕様 3 つの構成 1. バッチ用語と関連性の定義 (DSL) JobOperator Job Step ItemReader ItemProcessor ItemWriter JobRepository 2. ジョブ XML の定義 <job id="samplejob"> <step id="step1"/> </job> 3. API の定義どのような構成で作るのか ( アーキテクチャ定義 ) public interface ItemReader { Object readitem(object item); } 20

21 jbatch 仕様 3 つの構成 1. バッチ用語と関連性の定義 (DSL) ItemReader JobOperator Job Step JobRepository ItemProcessor アーキテクチャをどうやって ItemWriter 実装するか (XML/API 定義 ) 2. ジョブ XML の定義 <job id="samplejob"> <step id="step1"/> </job> 3. API の定義 public interface ItemReader { Object readitem(object item); } 21

22 Split jbatch の機能 1 順序制御ジョブ XML で処理の順序を定義することができる start STEP1 Flow1 Flow( グループ化 ) STEP2-1 STEP2-2 STEP3-1 end Decision( 分岐 ) Flow Flow Flow 22 Split( 並行実行 )

23 jbatch の機能 2 チェックポイントデフォルトでは 10 レコードごとにコミットされるロールバックは最終コミットまで commit 10 行処理 10 行処理 commit 障害発生途中からリスタートも可能 23

24 jbatch の機能 3 エラーハンドリング壊れたデータをスキップして処理を継続することができる jbatch success No. Message 001 I like GlassFish I like Java EE Bad Record. 004 I like modern framework. 24

25 jbatch の機能 3 エラーハンドリング壊れたデータをスキップして処理を継続することができる jbatch success No. Message 001 I like GlassFish I like Java EE Bad Record. 004 I like modern framework. 25

26 jbatch の機能 3 エラーハンドリング壊れたデータをスキップして処理を継続することができる jbatch No. Message 001 I like GlassFish I like Java EE Bad Record. 004 I like modern framework. 26

27 jbatch の機能 3 エラーハンドリング壊れたデータをスキップして処理を継続することができる jbatch error No. Message 001 I like GlassFish I like Java EE Bad Record. 004 I like modern framework. 27

28 jbatch の機能 3 エラーハンドリング壊れたデータをスキップして処理を継続することができる jbatch SKIP No. Message 001 I like GlassFish I like Java EE Bad Record. 004 I like modern framework. 28

29 jbatch の機能 3 エラーハンドリング壊れたデータをスキップして処理を継続することができる jbatch success success skip success No. Message 001 I like GlassFish I like Java EE Bad Record. 004 I like modern framework. 29

30 ジョブスケジューラと jbatch スケジューリング ( 時刻周期起動 ) 実行権限の管理ジョブ実行順序管理 JP1: ジョブネット jbatch : ジョブ定義 XML ジョブ実装サポート (API/ 例外制御 ) ジョブスケジューラ (cron/jp1/tivoli など ) jbatch 30

31 ジョブスケジューラと jbatch スケジューリング ( 時刻周期起動 ) ジョブ実行順序管理 JP1: ジョブネット実行権限の管理ジョブスケジューラ (cron/jp1/tivoli など ) 31

32 ジョブスケジューラと jbatch スケジューリング ( 時刻周期起動 ) 実行権限の管理ジョブ実行順序管理 JP1: ジョブネット jbatch : ジョブ定義 XML ジョブ実装サポート (API/ 例外制御 ) ジョブスケジューラ (cron/jp1/tivoli など ) jbatch 32

33 ジョブスケジューラと jbatch jbatch はスケジューリング機能を持っていないスケジューリング ( 時刻周期起動 ) 実行権限の管理ジョブ実行順序管理 JP1: ジョブネット jbatch : ジョブ定義 XML ジョブ実装サポート (API/ 例外制御 ) ジョブスケジューラ (cron/jp1/tivoli など ) jbatch 33

34 ジョブスケジューラと jbatch 被る部分は使い分け整理する必要があるスケジューリング ( 時刻周期起動 ) 実行権限の管理ジョブ実行順序管理 JP1: ジョブネット jbatch : ジョブ定義 XML ジョブ実装サポート (API/ 例外制御 ) ジョブスケジューラ (cron/jp1/tivoli など ) jbatch 34

35 jbatch はバッチ処理の標準 API を提供します 35

36 JAX-RS 2.0 jbatch の位置づけ他の Java EE 仕様と同様に API を提供するのが役割 Cron ユーザアプリケーション API の利用 jbatch データベース CDI JTA EJB/JPA Java EE サーバファイル (CSV/XML 等 ) 36

37 JAX-RS 2.0 jbatch を起動する http post 時刻起動 Cron ユーザアプリケーション jbatch データベース CDI JTA EJB/JPA Java EE サーバファイル (CSV/XML 等 ) 37

38 JAX-RS 2.0 jbatch http post public class BatchResource { Cron public void start(@pathparam("jobid") String jobid) { } } jbatch データベース // バッチジョブの起動 JobOperator joboperator = BatchRuntime.getJobOperator(); CDI JTA joboperator.start(jobid, null); EJB/JPA Java EE サーバファイル (CSV/XML 等 ) 38

39 Java EE のコードから簡単にバッチ起動が可能です (JAX-RS EJB Servlet など ) 39

40 アーキテクチャ 40

41 アーキテクチャメインフレームのバッチの移行を視野に入れた構造 JCL や COBOL 開発者にも馴染みやすい Job JobOperator Step1 Step2 Step3 Item Reader Item Processor Item Writer batchlet Job Repositoty 41

42 ジョブ : トップレベル要素ジョブは1つ以上のステップから構成ステップ全体に関わる設定はジョブに設定リスタート可能かどうか? ジョブ設定プロパティ等 Job JobOperator Step1 Step2 Step3 Item Reader Item Processor Item Writer batchlet Job Repositoty 42

43 ジョブ : トップレベル要素ジョブは 1 つ以上のステップから構成 <job ステップ全体に関わる設定はジョブに設定 id="samplejob"> <step リスタート可能かどうか id="step1" next="step2"? ジョブ設定プロパティ /> 等 <step id="step2" Job /> <properties> Step1 Step2 Step3 <property JobOperator name="filepath" value="input.txt"> </properties> Item Item Item batchlet Reader Processor Writer </job> Job Repositoty 43

44 ジョブ : トップレベル要素ジョブは 1 つ以上のステップから構成 <job ステップ全体に関わる設定はジョブに設定 id="samplejob"> <step リスタート可能かどうか id="step1" next="step2"? ジョブ設定プロパティ /> 等 <step ジョブid="step2" ID. 必須属性 Job />. 一意の識別子を設定 <properties> JobOperator.start( samplejob, Step1 Step2 null); Step3 <property JobOperator name="filepath" value="input.txt"> </properties> Item Item Item batchlet Reader Processor Writer </job> Job Repositoty 44

45 ジョブ : トップレベル要素ジョブは 1 つ以上のステップから構成 <job ステップ全体に関わる設定はジョブに設定 id="samplejob"> <step リスタート可能かどうか id="step1" next="step2"? ジョブ設定プロパティ /> 等 <step id="step2" Job /> <properties> Step1 Step2 Step3 <property JobOperator ステップの流れを定義する name="filepath" value="input.txt"> </properties> Item Item Item 最低 1つ以上のステップが必要 batchlet Reader Processor Writer </job> Job Repositoty 45

46 ジョブ : トップレベル要素ジョブは 1 つ以上のステップから構成 <job ステップ全体に関わる設定はジョブに設定 id="samplejob"> <step リスタート可能かどうか id="step1" ジョブ全体で使うプロパティ next="step2"? ジョブ設定プロパティ /> 等 <step id="step2" オプション要素 Job /> <properties> Step1 Step2 Step3 <property JobOperator name="filepath" value="input.txt"> </properties> Item Item Item batchlet Reader Processor Writer </job> Job Repositoty 46

47 ジョブインスタンスの考え方スケジュールごとに JobInstance が生成される実行ごとに JobExecution が生成される JobInstance は再実行に備えて永続化 ( シリアライズ ) Job * JobInstance * ファイル取り込みジョブ JobExecution JobInstance 2013/08/22 に実行するファイル取り込みジョブ 2013/08/22 に実行するファイル取り込みジョブの 1 回目 47

48 ジョブインスタンスが永続化される訳 8/22 のジョブインタンスは 8/23 に再実行しても 8/22 のデータにアクセスする対象データが異なる場合は前日リスタート分と当日分のジョブを並行処理させることも可能 8 月 22 日分のジョブ JobInstance * JobExecution 8/22 1 回目の実行 ( 失敗 ) 8/23 8/22 分リスタート再開時も 8/22 分のデータを処理 Date Sales amount 8/22 30, 000 8/22 30, 000 8/23 30,

49 ステップ : ジョブに含まれるタスク各ステップの処理内容はユーザがコーディングするステップの実装方法 chunk 方式 : reader processor writer の実装 batchlet 方式 : batchletインタフェースのみ実装 JobOperator Job Step1 Step2 Step3 Item Reader Item Processor Item Writer batchlet Job Repositoty 49

50 chunk 方式の登場人物 Step ItemReader ItemProcessor ItemWriter 50

51 ItemReader 実装方法 Step ItemReader ItemProcessor public class MyReader implements ItemReader public void open(serializable checkpoint) throws Exception public Object readitem() throws Exception {..} public void close() throws Exception {..}... 51

52 ItemProcessor 実装方法 Step ItemReader ItemProcessor public class MyProcessor implements ItemProcessor { public Object processitem(object item) throws Exception {..} 52

53 ItemWriter 実装方法 Step ItemReader ItemProcessor public class MyWriter implements ItemWriter public void open(serializable checkpoint) throws Exception public Object writeitems(list<object> items) throws Exception {..} public void close() throws Exception {..}... 53

54 まずはオープンする Step ItemReader ItemProcessor ItemWriter Open Open 54

55 アイテムを 1 件読む Step ItemReader ItemProcessor ItemWriter Open Open readitem 55

56 アイテムを 1 件処理する Step ItemReader ItemProcessor ItemWriter Open Open readitem processitem(item) 56

57 次の 1 件を読みに行く Step ItemReader ItemProcessor ItemWriter readitem 57

58 同じく 1 件処理する Step ItemReader ItemProcessor ItemWriter readitem processitem(item) 58

59 また読み込みを処理を行う Step ItemReader ItemProcessor ItemWriter readitem processitem(item) readitem processitem(item) 59

60 デフォルトでは 10 回読み込みと処理を繰り返す Step ItemReader ItemProcessor ItemWriter readitem processitem(item) readitem processitem(item) 1アイテム目の読み込みと処理 2アイテム目の読み込みと処理 60

61 10 アイテム目の処理が終わると Step ItemReader ItemProcessor ItemWriter readitem processitem(item) 10 アイテム目の読み込みと処理 61

62 まとめて書き込み処理を行う Step ItemReader ItemProcessor ItemWriter readitem processitem(item) 10 アイテム目の読み込みと処理 writeitems(results) 62

63 chunk 方式のゆえん Step ItemReader ItemProcessor ItemWriter readitem 10 個ずつ纏めて塊を処理しているので processitem(item) Chunk( 塊 ) 方式と呼ばれる writeitems(results) 63

64 書いたら checkpoint を実行 Step ItemReader ItemProcessor ItemWriter readitem processitem(item) Chunkの書き出しが終わるとコミット前にcheckpointinfoが実行される writeitems(results) checkpointinfo checkpointdata checkpointinfo 64

65 checkpointinfo の実装 Step ItemReader ItemProcessor ItemWriter public class MyReader implements ItemReader processitem(item) public void open(serializable checkpoint) throws Exception {..} writeitems(results) public Serializable checkpointinfo() throws Exception { // 読み込んだ行数をチェックポイントにする return checkpointinfo readedcount; // => 1 } checkpointdata checkpointinfo 65

66 チェックポイントはリスタート時に使われる 66

67 スタートとリスタートは違う // バッチジョブの起動 JobOperator joboperator = BatchRuntime.getJobOperator(); long jobexecid = joboperator.start( myjob, null); // ジョブのリスタート long jobexecid = joboperator.restart(jobexecid, null); 初回起動時は job.xml の <job id = myjob > の id 文字列を指定する 67

68 スタートとリスタートは違う // バッチジョブの起動 JobOperator joboperator = BatchRuntime.getJobOperator(); long jobexecid = joboperator.start( myjob, null); // ジョブのリスタート long jobexecid = joboperator.restart(jobexecid, null); リスタートするときは restart で起動する初回起動時に取得したジョブ実行 ID(long) を引数に指定する 68

69 public class MyReader implements ItemReader public void open(serializable checkpoint) throws Exception {..} //@Override バッチジョブの起動 JobOperator public Serializable joboperator checkpointinfo() = throws BatchRuntime.getJobOperator(); Exception { return readedcount; // => 1 long jobexecid = joboperator.start( myjob, null); } // ジョブのリスタート long jobexecid = joboperator.restart(jobexecid, null); restart で起動すると open(serializable cp) に checkpointinfo() で返された値が渡される通常の start では null が常に渡される 69

70 commit の実行 Step ItemReader ItemProcessor ItemWriter readitem processitem(item) checkpoint writeitems(results) 処理が終わったら checkpointinfo checkpointdata commit バッチランタイムで commit する (GlassFish であればJTAトランザクション ) checkpointinfo 70

71 chunk 処理終了の流れ Step ItemReader ItemProcessor ItemWriter readitem 読み込み対象のデータがなくなった! 71

72 chunk 処理終了の流れ Step ItemReader ItemProcessor ItemWriter readitem null ItemReader から null を返す 72

73 chunk 処理終了の流れ Step ItemReader ItemProcessor ItemWriter readitem null writeitems(results) 処理済みのデータを書き出す 73

74 チェックポイントを実行する Step ItemReader ItemProcessor ItemWriter readitem null writeitems(results) checkpointinfo checkpointdata checkpointinfo 74

75 トランザクションをコミットする Step ItemReader ItemProcessor ItemWriter readitem null writeitems(results) checkpointinfo checkpointdata checkpointinfo commit 75

76 コミット後は close 処理を行う Step ItemReader ItemProcessor ItemWriter commit close close ItemReader と ItemWriter の close 処理をして chunk 方式のステップは完了 76

77 chunk 方式 : job.xml の書き方 <?xml version="1.0" encoding="utf-8"?> <job xmlns=" version="1.0" id="job1"> <step> <chunk item-count="100"> <reader ref="myreader"/> <processor ref="myprocessor"/> <writer ref="mywriter"/> </chunk> </step> </job> 77

78 chunk 方式 : chunk タグとオプション <?xml version="1.0" encoding="utf-8"?> <job xmlns=" version="1.0" id="job1"> <step> <chunk item-count="100"> <reader ref="myreader"/> <processor ref="myprocessor"/> <writer ref="mywriter"/> </chunk> </step> </job> Step の子要素として chunk を定義コミット間隔チューニングは item-count 属性デフォルトは 10 78

79 chunk 方式 : reader/processor/writer <?xml version="1.0" encoding="utf-8"?> <job xmlns=" version="1.0" id="job1"> <step> <chunk item-count="100"> <reader ref="myreader"/> <processor ref="myprocessor"/> <writer ref="mywriter"/> </chunk> </step> </job> ItemReader ItemProcessor ItemWriter のクラス名の先頭を小文字にして定義する 79

80 F A Q 全てのメソッドの実装を強制されると困ります.. (open close 処理が必要ない場合 ) 80

81 空実装された AbstractReader を継承デフォルト実装は空実装 ( 何もしない ) open や close が呼ばれても何もしない public class MyReader extends AbstractItemReader public Object readitem() throws Exception { // read 処理の実装 } } 81

82 F A Q Abstractクラスを使うと他クラスを継承できないので困る (POJOが一番嬉しい..) 82

83 Public Review フェーズまではアノテーション活用提案があった 83

84 アノテーションで ItemReader public class MyItemReader Object read() throws Exception { // レコード読み取り処理 } } 今後盛り込まれることを期待 84

85 F A Q チャンク処理を実装することで何かメリットはあるのか? 85

86 共通的な機能を自身で作成しなくてもよくなる APサーバからコールバックすることで以下の処理を差し込めるコミット間隔のコントロール例外が発生したときのハンドリング例外をスキップするのか例外が発生した時点でバッチ処理を中断するのか 86

87 処理したレコード数がモニタリング可能になる GlassFish4 の管理コンソールでは jbatch 状態の確認が可能 87

88 もう 1 つの Step 実装方式 : batchlet Step と batchlet が 1 対 1 非常にシンプルな実装 Step process() batchlet public class MyBatchlet implements Batchlet public String process() throws Exception { // 処理をここに実装 } ExitStatus public void stop() throws Exception { // JobOperator.stop() で強制停止した時の処理をここに実装 } <step id="step1"> <batchlet ref="mybatchlet" /> </step> 88

89 chunk と batchlet の使い分け Chunk 方式バルクオペレーション全般ファイル DBレコードを1 件ずつ処理 batchlet 方式コマンド処理全般他サーバへのファイル転送 (ftpなど) 圧縮解凍コマンドの実行 89

90 JobOperator バッチ処理のコントロール役 JobOperator 経由でジョブ起動 / 再起動 / 停止 JobOperator Job Step1 Step2 Step3 Item Reader Item Processor Item Writer batchlet Job Repositoty 90

91 JobRepository : 永続化機構ジョブインスタンスやチェックポイント情報を保存仕様上ではあまり詳細については言及されず GlassFish4 同梱の RI では組み込み Derby に永続化 JobOperator Job Step1 Step2 Step3 Item Reader Item Processor Item Writer batchlet Job Repositoty 91

92 アーキテクチャの振り返り Jobには1つ以上のStepが含まれる JobやStepはXMLで表現する Stepの実装方法は2つある chunk : 読む / 処理 / 書くを繰り返す処理向き batchlet : コマンド向き chunk/batchletはjavaで実装する JobOperatorからジョブを起動する JobRepositoryにジョブ情報は永続化される 92

93 Spring Batch と jbatch 93

94 Spring Batch と jbatch jbatch XML ベース ( ジョブ XML) 現状はなし ( シンプルに標準化 ) なし標準仕様 ( ベンダフリー ) 基本的な作りユーティリティクラスの充実複数サーバ分散処理 JSR 準拠 Spring Batch XML ベース ( ジョブ XML) ファイル操作サポート JPA 連携サポートあり現状は未準拠 94

95 Spring Batch が jbatch 仕様準拠の方向へ次バージョンの Spring Batch 3.0 で対応予定 issue としては既に登録済み JSR-330(DI 標準仕様 ) でも Spring とJava EE では連携があった Spring と Java EE が類似する傾向は今後も続くと考える 95

96 jbatch 動作環境 96

97 対応している JDK JDK6 以上 ( 既に EndOfServiceLife なのでぜひ JDK7 を ) 97

98 Java SE 環境と EE 環境の違い Java SE ローカルトランザクションランタイム実装に依存 /META-INF/ batch-jobs/job.xml /META-INF/batch.xml トランザクションスレッドプール必要な設定ファイル Java EE JTA トランザクション Concurrency Utilities for Java EE ( コンテナ管理スレッド ) /META-INF/ batch-jobs/job.xml 98

99 もっと jbatch を知る 99

100 Java EE 7 チュートリアルを読む java.net から情報収集仕様書を読む GlassFish4 を動かしてみる GlassFish4にはRI( 参照実装 ) が同梱済み Java SE で動かす場合は java.net からダウンロード 100

101 Java EE 7 書籍も出始めています ( 洋書 ) Java EE Essentials Arun Gupta( 著 ) Beginning Java EE 7 ( 日本語訳もある EE6 金魚本の改訂版 ) 101

102 お時間があればデモの簡単なご紹介 102

103 GlassFish4 を今すぐダウンロード! ご清聴ありがとうございました Oracle と Java は Oracle Corporation 及びその子会社関連会社の米国及びその他の国における登録商標です文中の社名商品名等は各社の商標または登録商標である場合があります 103

104 104

[HO-2] NetBeansとGlassFishではじめるJava EE7ハンズオン

[HO-2] NetBeansとGlassFishではじめるJava EE7ハンズオン Java EE 7 ハンズオン概要日本オラクル株式会社 Oracle University 野邊哲男 Java Day Tokyo 2016 2016 年 5 月 24 日 Copyright 2016, Oracle and/or its affiliates. All rights reserved. Safe Harbor Statement The following is intended