mod_perl_jobworker

Size: px

Start display at page:

Download "mod_perl_jobworker"

くにひとたなせ
5 years ago
Views:

9 以前の設計インターネット Diary DB fetcher fetcher fetcher fetcher controller controller controller controller RSS DB cron cron cron cron fetcher fetcher fetcher fetcher ID:0/Max:4 ID:1/Max:4 ID:2/Max:4 ID:3/Max:4 Member DB Copyright 2008 mixi, Inc 8

11 Fetcher サーバの障害時 ID が固定なので手作業でその ID を別のサーバや新規サーバに振り替えないと RSS の取得が停止する member ID の剰余が 2 のユーザの RSS が処理されない controller controller controller controller cron cron cron cron fetcher fetcher fetcher fetcher ID:0/Max:4 ID:1/Max:4 ID:2/Max:4 ID:3/Max:4 Copyright 2008 mixi, Inc 10

12 Fetcher サーバの増設すべてのサーバで全体の台数の設定の変更が必要 NEW controller controller controller controller controller cron fetcher cron fetcher ID:0/Max:5 ID:1/Max:5 全体の台数を全台で設定する cron cron fetcher fetcher ID:2/Max:5 ID:3/Max:5 cron fetcher ID:3/Max:5 Copyright 2008 mixi, Inc 11

18 とは Net:: 同梱 ) を利用して非同期に HTTP アクセスする use my $async = $async->add( GET => ' ) ); $async->add( GET => ' ) ); while ( my $response = $async->wait_for_next_response ) { # Do some processing with $response ref $response ## } Copyright 2008 mixi, Inc 17

24 メルマガの効率化 mod_perl で通常のページを作るように作る HTML を書き出す代わりにメールを送るそのアプリケーションサーバに Request をで送る mod_perl1 台でも MaxClients の設定まで並行処理が可能 Scalability についてはアプリケーションサーバ (mod_perl サーバ ) を増やすだけ Copyright 2008 mixi, Inc 23

30 kicker manager( 一部ソースコード ) sub wheel_init { my ($kernel, $heap) HEAP]; $kernel->alias_set('wheel_ctl'); $kernel->post('wheel_ctl','wheel_settimeout'); } sub wheel_settimeout { my ($kernel, $heap) HEAP]; my $procs = $STASH->{procs}; my $time = time() - 10*60; #10min foreach my $id ( keys %$procs ) { if $procs->{$id}->[0] < $time; } foreach (@freezed_procs) { $procs->{$_}->[1]->kill(9); } if ( keys %$procs < $OPT{MAX_PROCS} ) { $kernel->post('wheel_ctl','wheel_start'); } $kernel->delay( 'wheel_settimeout', 1 ); } sub wheel_start { my ($kernel, $heap) HEAP]; } my $wheel = POE::Wheel::Run->new( Program => [qw/perl kicker.pl/], ErrorEvent => 'wheel_error', CloseEvent => 'wheel_close', StdoutEvent => 'wheel_stderr', StderrEvent => 'wheel_stderr', ); my $pid = $wheel->pid; $kernel->sig( 'CHLD', 'wheel_sigchld' ); $STASH->{procs}->{$wheel->ID} = [time(), $wheel]; Copyright 2008 mixi, Inc 29

32 処理が 2 重にならない工夫 DB の設計 CREATE TABLE `rss_data` ( member_id int(10) unsigned NOT NULL default '0', url varchar(255) NOT NULL default '', last_crawl datetime NOT NULL default ' :00:00', fetcher_seed tinyint(3) unsigned NOT NULL default '0', PRIMARY KEY (`member_id`), KEY `last_crawl` (`last_crawl`,`fetcher_seed`), ) TYPE=InnoDB; url を insert する際に fetcher_seed に 0~59 までの整数を入れておく Copyright 2008 mixi, Inc 31

33 処理が 2 重にならない工夫 (2) 取得対象 URL の SELECT SELECT * FROM rss_data WHERE fetcher_seed=? AND last_crawl <? ORDER BY last_crawl LIMIT 1000 fetcher_seed は memcached の increment で生成 my $incr = $memcached->incr( 'fetcher_seed' ); my $seed = $incr % 60; $sth->execute( $seed, DateTime->now->substract(hour=>2)->format( MySQL ), ) Copyright 2008 mixi, Inc 32

37 mod_perl を使った利点 Apacheで並列処理をみてくる Apacheでメモリの管理もできる MaxRequestPerChild startup.plでのメモリ効率化 Web Application Frameworkをそのまま活用できるデプロイツールがそのまま使える監視も行いやすいサーバを足せばスケールする APIとしてもつかえる Copyright 2008 mixi, Inc 36

3 Powered by mod_perl, Apache & MySQL use Item; my $item = Item->new( id => 1, name => ' ', price => 1200,

WEB DB PRESS Vol.1 79 3 Powered by mod_perl, Apache & MySQL use Item; my $item = Item->new( id => 1, name => ' ', price => 1200, http://www.postgresql.org/http://www.jp.postgresql.org/ 80 WEB DB PRESS