- PDF Free Download

Size: px

Start display at page:

Download ""

としはるおえづか
5 years ago
Views:

2 =PDCA Plan: Do: Check: Action: 1 =1 Ensemble mean Observation 9 months Assimilation period

3 1 =1 Fortran C Perl Ruby (DSL) GUI

4 = Megascript [... 03] Ruby

5 PJO (Parametric Job Organizer) [ ] Perl sh top foreach $param (1.. 5) when do_job param=$param ID $rc = system("./a.out"); if (0!= $rc) PJO::abort "job executes failed. n"; when when param=$x print "job param=$x finished. n"; when PJO (Parametric Job Organizer) [ ] top foreach $param (1.. 5) Perldo_job param=$param $rc = system("./a.out"); if (0!= $rc) PJO::abort "job executes failed. n"; when param=$x print "job param=$x finished. n";

6 Megascript PJO Megascript PJO + or

7 BranchAndBound->exec($prog, sub ParamGen... package BranchAndBound... sub Eval...

8 =PJO-engine + ) NQS Torque PBS Pro LSF SGE 15 Perl = Job built-in = Job built-in mixin PJO when PJO top

9 a.out a.out a.out a.out a.out i inputi outputi a.out 2 n m class Example : Restrict, Parallel $Job_exec = "a.out"; $Restrict_max = 10; $Par_njob = 5000; before = ("input$par_nsubmit", "output$par_nsubmit") after () print finished."; after_all () print "All jobs finished." Example::main();

10 class Example : Restrict, Parallel $Job_exec = "a.out"; $Restrict_max = 10; $Par_njob = 5000; before = ("input$par_nsubmit", "output$par_nsubmit") after () print finished."; after_all () print "All jobs finished." Example::main(); class Parallel : Job static $Par_njob; # static $Par_nsubmit=0; # static $Par_nfinish=0; # # Job static main () while ($Par_nsubmit < $Par_njob) new()->do(); before () $Par_iter++; after () if (++$Par_nfinish >= $Par_njob) after_all(); # static after_all (); (Job class Restrict : Job # 最大同時ジョブ投入数 ( ユーザ指定 ) static $Restrict_max; # 実行中のジョブ数はセマフォで管理 static $semaphore = Semaphore->new($Restrict_max); # Job で定義されたメソッドの拡張 before () # $Restrict_max 以上のジョブが実行中なら # release されるまでここで待たされる $semaphore->aquire(); after () $semaphore->release(); class Job $Job_exec; $Job_args; $Job_env; # メソッド new (...)... # コンストラクタ static main (); # エントリポイント ( ユーザ定義 ) before () ; # ジョブ投入前の処理 ( ユーザ定義 ) do () # ジョブを投入するために main から呼び出す # 全ての before を指定の順序で実行 invoke_all_before(); # Job_exec を Job_args のコマンドライン引数で実行 exec # ジョブの終了待ちの後, 全ての after を実行 ( 非同期実行 ) spawn wait_finish_and_invoke_all_after($self); after () ; # ジョブ完了後の処理 ( ユーザ定義 ) class # メソッド new (...)... # コンストラクタ static main (); # エントリポイント ( ユーザ定義 ) before () ; do () # ジョブを投入するためにmainから呼び出す # 全てのbeforeを指定の順序で実行 invoke_all_before(); # Job_execをJob_argsのコマンドライン引数で実行 exec # ジョブの終了待ちの後, 全てのafterを実行 ( 非同期実行 ) spawn wait_finish_and_invoke_all_after($self); after () ;

11 class Parallel : Job static $Par_njob; static $Par_nsubmit=0; static $Par_nfinish=0; # Job static main () while ($Par_nsubmit < $Par_njob) new()->do(); before () $Par_iter++; after () if (++$Par_nfinish >= $Par_njob) after_all(); # static after_all (); = n Job::main class Restrict : Job # 最大同時ジョブ投入数 ( ユーザ指定 ) static $Restrict_max; # 実行中のジョブ数はセマフォで管理 static $semaphore = Semaphore->new($Restrict_max); # Jobで定義されたメソッドの拡張 before () # $Restrict_max 以上のジョブが実行中なら # release されるまでここで待たされる $semaphore->aquire(); after () $semaphore->release(); =m

12 class Example : Restrict, Parallel Job::Job_exec $Job_exec = "a.out"; Restrict::Restrict_max $Restrict_max = 10; Parallel::Parallel_njob $Par_njob = 5000; before () = ("input$par_nsubmit", "output$par_nsubmit") after () Job::after print finished."; after_all () print "All jobs finished." Parallel::after_all Example::main(); Parallel main main Parallel::main before Job::do Restrict::before Parallel::before after Example::before (method exec combination) a.out wait_finish Example::after Parallel::after Restrict::after

13 Parallel SmartSearch

14 Perl $myjobset (parallel, restrict) Jobset_exec="./fib"; Jobset_args="%d"; Jobset_after = ' print "Job finished. n" '; Par_njob=5000; Par_after_all = ' print "All jobs finished. n" '; Restrict_max = 10; $myjobset->start();

15 staging/destaging Job PJO

16 PDCA = = H20(2 nd half) H21 H22 H23 perl PJO Python, Ruby end-user, etc. EP API

1 1,200m ,482,620m 1 323,825m 1 205,988m 114,988m 60,000m 31,000m ,837m ,158,795m ,340m 1 48,006m 1 33,016m 1,125m

1 1,200m ,482,620m 1 323,825m 1 205,988m 114,988m 60,000m 31,000m ,837m ,158,795m ,340m 1 48,006m 1 33,016m 1,125m IV 39 7 10 167 1 3 9 2 10 79 1 1,200m 23 23 6 1 429 2,482,620m 1 323,825m 1 205,988m 114,988m 60,000m 31,000m 27 117,837m 3 2 426 2,158,795m 44 277,340m 1 48,006m 1 33,016m 1,125m 33,016m 4 14,990m 2 44