Ruby を使った分散全文検索ミドルウェア須藤功平株式会社クリアコード RubyWorld Conference /11/13 Ruby を使った分散全文検索ミドルウェア Powered by Rabbit 2.1.4

Size: px

Start display at page:

Download "Ruby を使った分散全文検索ミドルウェア須藤功平株式会社クリアコード RubyWorld Conference /11/13 Ruby を使った分散全文検索ミドルウェア Powered by Rabbit 2.1.4"

もりよりのじま
5 years ago
Views:

1 Ruby を使った分散全文検索ミドルウェア須藤功平株式会社クリアコード RubyWorld Conference /11/13

2 趣意書 Ruby を普通の人々に浸透させたい!

3 この発表の内容浸透促進案の提案

4 浸透対象の普通の人々よくプログラムを書く人ただしRubyとは縁遠いよくRubyを書くようになるたまにプログラムを書く人インフラの人とかたまにRubyを書くようになる

5 浸透方法技術的な攻め方多機能高機能高性能他よりいいですよ心理的政治的な攻め方流行りみんな使っていますよ

6 提案方針技術的な攻め方多機能高機能高性能他よりいいですよ心理的政治的な攻め方流行りみんな使っていますよ

7 流行っている状態シェアを独占しているキラーアプリがある例 :Ruby on Rails 有用アプリの多くがRuby 製例 :Chef, Puppet, Vagrant, Serverspec

8 キラーアプリは難しいシェアを独占しているキラーアプリがある例 :Ruby on Rails 有用アプリの多くがRuby 製例 :Chef, Puppet, Vagrant, Serverspec

9 多有用アプリ状況を目指す Ruby 製アプリ使う Ruby 製アプリを優先して選ぶ使っていることを広くアピール Ruby 製アプリを作るそこそこ有用で十分たくさん作る

10 Ruby 製アプリ作りを促す成功事例 ( きっかけ ) 後続が真似したくなればよいそんなに流行らなくてもよい開発ノウハウ ( 助け ) 後続が開発しやすくなるライブラリー化されていると尚よし

11 どんなアプリがよいかミドルウェア自作のアプリは好きな言語で書ける ( 言語による採用障壁が低め ) ( 例 :RabbitMQ は Erlang 製だがアプリは Erlang 以外が多い )

12 ミドルウェアデータストア (RDBMSやKVS) 検索システムメールシステムメッセージキューログ活用 ( 分析や監視 )

13 Ruby でミドルウェア成功事例 Fluentd, ROMA milter manager 分散全文検索エンジンを開発中 (Droonga) 開発ノウハウこれから紹介

14 開発ノウハウ : 方針トレードオフと向き合うどこを強みにするかどこは競合と戦わないか全方位で勝つことはできない Rubyだって速さじゃ Cに勝てないでも楽しさならCに勝てる

15 強みの選び方使いやすさで勝負する最高速で勝負しない多機能で勝負しない

16 ミドルウェアの使いやすさ導入設定運用の簡単さ多くのミドルウェアは大変ヒント例 : 設定なしで動くと簡単止めないことが前提無停止で設定再読み込み無停止でアップグレード

17 強みの選び方 - 使いやすさ使いやすさで勝負するユーザーの手間を減らすかゆいところに手が届く最高速で勝負しない多機能で勝負しない

18 性能最高速は目指さない C/C++ とか Java に負ける十分な速度は目指すミドルウェアがボトルネックにならない程度

19 ミドルウェアと性能ミドルウェア = サーバー並行処理をいかにがんばるか評価基準レイテンシー (1リクエストに注目) スループット ( 単位時間に注目 )

20 ボトルネックの解消方法なりやすい箇所 CPU ネットワークなるかもしれない箇所 I/O とメモリー

21 CPU ネック処理を減らすマルチプロセス後述 Cで拡張ライブラリーを書く Fluentd: MessagePack Droonga: MessagePack, Groonga

22 マルチプロセス実装 ServerEngine( ライブラリー ) n スレッド + シグナル +fork(spawn) Droonga 1スレッド + パイプ +spawn+ イベントループの方がオススメ

23 ServerEngine Process Thread Supervisor Logging Heartbeat Signal fork heartbeat signal Worker Worker Worker

24 ServerEngine モデル 1 基本は Supervisor Worker graceful な再起動をしにくい ( 無停止で設定再読み込みできれば必要ない ) 新 Worker の準備完了を知れない無停止アップグレード

25 ServerEngine モデル 2 スレッドは難しいエラーをちゃんと処理しないと問題を見逃すシグナルは難しい終了中に何度でも SIGINT fork は難しい

26 ServerEngine モデル 3 ライブラリー化していてえらい

27 Droonga Process Event loop Supervisor spawn pipe command (ready) (stop) Worker Worker Worker

28 Droonga モデル 1 通信は Supervisor Worker gracefulな再起動をしやすい新 Workerが準備完了 Supervisor に通知旧 Workerをgracefulに終了無停止更新ができる

29 Droonga モデル 2 シンプルになる 1スレッドシグナルなし stop 中にn 回 stopがこない終了処理中に割り込まれないイベント駆動は複雑

30 ネットワークネック通信量を減らすデータを減らす ( ムリなら圧縮 ) (LZ4で十分ならLZ4 ムリならzlib) ノンブロッキングI/Oと多重化拡張ライブラリー必須 Cool.io, nio4r, EventMachine イベント駆動なコードは複雑

31 イベント駆動なコード Coolio::TCPServer.new(HOST, PORT) do client n_reads = 0 client.on_read do data p data client.write(data) n_reads += 1 if n_reads == 2 client.on_write_complete {client.close} end end end

32 同期っぽく書ける API Coolio::TCPServer.new(HOST, PORT) do client Fiber.run do # <- 並行にしたい処理を明示 client.extend(synchronizable) # <- 42 行 2.times do data = client.read p data client.write(data) end client.close end end

33 同期っぽく書ける API ユーザーがFiberを書くのがカッコ悪い同期っぽい中で並行に処理したくなったら? pubsub っぽいことをしたいとか

34 Promise な世界 server.accept.then do client client.read.then do data p data client.write(data) end.then do client.close end end.catch do error end

35 Promise な世界繰り返しを書きにくいメソッドチェーンがカッコ悪い catch がカッコ悪い

36 API 案 : 基本 # 同期っぽい API clinet = server.accept # 非同期 API server.accept do request begin client = request.socket rescue end end

37 API 案 : 組み合わせ server.accept do request client = request.socket 2.times do data = client.read p data client.write(data) end client.close end

38 API 案 Fiberが見えない書き方の組み合わせが自然ブロックなし同期っぽいAPI ブロックあり非同期 API 実装していない

39 I/O とメモリーネックデータストアをCで書く Droonga: Groonga ROMA: Tokyo Cabinet, SQLite3 コアの機能もCで書くデータコピーも減らしたいとき

40 強みの選び方 - 性能使いやすさで勝負する最高速で勝負しないでも十分な速度は目指すボトルネックにならなければよい多機能で勝負しない

41 機能多機能をウリにしない多機能だと遅くなる ( ことが多い ) 組み込みの機能より拡張性プラグイン機能 Fluentd, ROMA, Droonga

42 プラグイン機能のポイント開発者向け作りやすいテストしやすいリリースしやすいユーザー向けインストールしやすい設定しやすい

43 作りやすさ開発者向け scaffold いらずの API テストしやすさドライバースタブを提供リリースしやすさ gem

44 ユーザー向けインストールのしやすさ Rubyをそんなに知らない前提なのに直接 gemを使ってもらうのってアリ? 設定のしやすさできるだけ少なくできれば no configuration

45 強みの選び方 - 機能使いやすさで勝負する最高速で勝負しない多機能で勝負しない組込機能よりも簡単拡張で勝負 Ruby 初心者でも開発できる簡単さプラグイン開発でRubyデビュー (tdiaryスタイルのruby 浸透方法 )

46 まとめ 1 趣意書 Ruby を浸透させたい! この発表浸透促進案の提案ミドルウェア分野での促進案

47 まとめ 2: 促進案たくさんの人が使う他の方がよさそうでも Ruby 製を優先して使う使っていることを広めるたくさん作る

48 まとめ 3: 作るノウハウ使いやすさで勝負するユーザーの手間を減らす最高速で勝負しないボトルネックにならなければよい多機能で勝負しない組込機能より拡張性

49 おまけ Droonga の紹介

50 Droonga とは Ruby 製分散全文検索エンジン SPOF なしの構成

51 Droonga の特徴処理をパイプラインとしてつなげられる予定処理はプラグイン可能 Ruby で簡単に ( 予定 ) 書ける Groonga 互換 API 提供 Groonga = 既存全文検索エンジン

52 Droonga の実装 : 性能レイテンシー Groongaより高いけど気になるほどではないスループットノード数を増やせば Groonga より速い

53 Droonga の実装 : 機能プラグインで拡張可能

54 Droonga の実装 : 使いやすさインストールインストーラー提供で簡易化これからがんばる設定更新運用プラグインの作りやすさ

55 Droonga 11/29( いい肉の日 ) Groonga イベント開催 ( 東京 )

Apache Arrow 須藤功平株式会社クリアコード RubyData Tokyo Meetup Apache Arrow Powered by Rabbit 2.2.2

Apache Arrow 須藤功平株式会社クリアコード RubyData Tokyo Meetup 2018-11-17 Apache Arrow 各種言語で使えるインメモリーデータ処理プラットフォーム提供するもの高速なデータフォーマット高速なデータ処理ロジック各プロダクトで個別に実装するより一緒にいいものを実装して共有しよう! 効率的なデータ交換処理... 利用例 Apache Arrow

Ruby を使った分散全文検索ミドルウェア 須藤功平株式会社クリアコード RubyWorld Conference /11/13 Ruby を使った分散全文検索ミドルウェア Powered by Rabbit 2.1.4

Ruby を使った分散全文検索ミドルウェア須藤功平株式会社クリアコード RubyWorld Conference /11/13 Ruby を使った分散全文検索ミドルウェア Powered by Rabbit 2.1.4