祝! リリース! 1/69

Size: px

Start display at page:

Download "祝! リリース! 1/69"

ひでかさくもと
7 years ago
Views:

1 Ruby groonga 須藤功平株式会社クリアコード全文検索エンジン groonga を囲む夕べ #1 2010/11/29

2 祝! リリース! 1/69

3 祝! リリース! 2/69

4 話すこと Rubyと groongaの相性のよさ 3/69

5 ターゲット開発者システム構築者管理者 groongaを直接利用プログラムを書く APIを叩く 4/69

6 自己紹介須藤功平 ( すとうこうへい ) 趣味プログラミングたいやき屋和菓子屋をはしご仕事 : 趣味が仕事になった感じ 5/69

7 自己紹介 : 趣味フリーソフトウェア開発 6/69

8 メインで開発続けることが大事 RSS Parser: 6 年 (Ruby 標準添付 ) Rabbit: 6 年 Cutter: 5 年 milter manager: 2 年 7/69

9 参加プロジェクト通った後に道ができるバグを見つけたらパッチ投稿広くこまごまと GNOME 関係 /Ruby on Rails Mozilla/Postfix/Samba/... 8/69

10 自己紹介 : 仕事クリアコード代表取締役 9/69

11 クリアコードフリーソフトウェアでビジネスフリーソフトウェアを活用した受託開発フリーソフトウェアの導入支援フリーソフトウェアのサポート 10/69

12 資本提携協業体制強化有限会社未来検索ブラジルミラクルリナックス株式会社コスモエア株式会社 11/69

13 協業 groonga 関連検索アプリ開発単体テストまわり整備 Senna の頃から (Cutter を利用 ) バグ修正 Rubyまわり 12/69

14 Ruby groonga

15 Ruby groonga ラングバプロジェクト Ruby と groonga のこと Ruby と全文検索システムのこと 14/69

16 ラングバプロジェクト 15/69

17 目標使いやすい検索システムを手早く簡単に 16/69

18 提供物全文検索システム全文検索システム利用を支援のコンポーネントライブラリツール独自の全文検索システム開発を支援 17/69

19 提供物名前確認

20 全文検索システム 19/69

21 groonga 20/69

22 rroonga 21/69

23 ChupaText 22/69

24 ChupaRuby 23/69

25 ActiveGroonga 24/69

26 racknga 25/69

27 文書検索ラングバ 26/69

28 復習 : 全文検索エンジン groonga( ぐるんが ) 全文検索エンジン rroonga( るるんが ) groonga の Ruby バインディング 27/69

29 復習 : テキスト抽出 ChupaText( ちゅぱてきすと ) 汎用テキスト抽出ツール ChupaRuby( ちゅぱるびー ) ChupaText の Ruby バインディング 28/69

30 復習 : 検索 UI ActiveGroonga ( あくてぃぶぐるんが ) Rails 3 用 groonga モデル racknga( らくんが ) Rack ミドルウエア集ほか Passenger 用 Munin プラグインなど 29/69

31 復習 : 検索アプリ文書検索ラングバ ( ぶんしょけんさくらんぐば ) groonga ベースの文書検索システム 30/69

32 復習 : 全体図 31/69

33 提供物紹介

34 rroonga の紹介 33/69

35 rroonga groonga の Ruby バインディング groonga をライブラリとして使用 groonga クライアント機能はほぼない Ruby らしく書けることを重視便利な機能は盛り込む ( 例 : スキーマ定義 DSL) 34/69

36 groonga API レイヤー 35/69

37 サポートしている API 36/69

38 Ruby らしさ重視スキーマ定義 : DSL カラムアクセス : メソッド groonga Ruby 変換 : 型を利用クエリ : ブロック 37/69

39 スキーマ定義高レベルスキーマ定義 API(QL-API 相当 ) Groogna::Schema.define do schema schema.create_table("users") do table table.short_text("name") table.int32("age") table.timestamps end end 38/69

40 カラムアクセスメソッドとしてアクセス可能 users = Groonga["Users"] morita = users.add(:name => "morita", :age => 18) morita.name # => "morita" morita.age = 88 morita.age # => 88 39/69

41 groonga Ruby 変換 groonga の型と Ruby のクラスを対応自動で相互変換 morita.updated_at = Time.now morita.updated_at.class # => Time morita.name.class # => String morita.age.class # => Fixnum 40/69

42 クエリ名前に mo を含むユーザを全文検索 users.select do record end record.name =~ "mo" 41/69

43 クエリ : 複雑 a_month_ago = Time.parse(" ") query = "Ruby 検索 " sites.select do record condition = record.match(query) do target (target.title * 100) (target.description * 10) (target.content) end condition & (record.updated_at >= a_month_ago) end 42/69

44 クエリ : 重み付け record.match(query) do target # title にマッチ : スコア +100 # description にマッチ : スコア +10 # content にマッチ : スコア +1 (target.title * 100) (target.description * 10) (target.content) end 43/69

45 クエリ : AND a_month_ago = Time.parse(" ") query = "Ruby 検索 " condition = record.match(query) {...} # Ruby と検索にマッチする # 1 ヶ月以内に更新されたレコードを検索 condition & (record.updated_at >= a_month_ago) 44/69

46 インストール % sudo gem install rroonga 必要なら groonga も自動でインストール 45/69

47 利用シーンインデクサー Ruby で加工しながらデータ追加データベースメンテナンスバッチ処理 groonga の挙動確認 (irb -r groonga) テストデータ作成 46/69

48 利用例るりまサーチ : rroonga + Rack 47/69

49 ChupaText の紹介 48/69

50 ChupaText テキスト抽出ツール 49/69

51 ChupaText: 目標複数の入力形式 1つの操作方法 50/69

52 インターフェイス chupatext コマンド MIME 形式で出力 C 言語 API 51/69

53 どうして MIME? 広く普及しているメタデータとテキストを扱えるメタデータ : ヘッダー ( 拡張可能 ) テキスト : 本文複数のファイルを扱えるアーカイブ対応 52/69

54 拡張性多くの入力形式に対応したい入力処理部分をプラグイン化動的に読み込みプラグインの追加方法 Cで共有ライブラリを作成 Rubyスクリプトを作成 53/69

55 インストール % sudo aptitude install chupatext 54/69

56 ChupaRuby の紹介 55/69

57 ChupaRuby ChupaText の Ruby バインディングテキスト抽出ライブラリ HTTP インターフェイス ( 予定 ) テキスト抽出 Web サービス 56/69

58 インストール % sudo gem install chuparuby ChupaText は自動インストールされない 57/69

59 ActiveGroonga の紹介 58/69

60 ActiveGroonga Rails 3 用 groonga モデル実装 : rroonga + ActiveModel 59/69

61 機能 ActiveGroonga::Base (ActiveRecord::Base 相当 ) rake groonga:*(db:* 相当 ) マイグレーションバリデーションリレーション 60/69

62 インストール % sudo gem install activegroonga 61/69

63 デモマイクロブログ 62/69

64 racknga の紹介 63/69

65 racknga ユーティリティパッケージ ( 入れ場所に困ったらここ ) Rack ミドルウェアキャッシュ JSONP Passenger 用 Munin プラグイン will_paginate サポート 64/69

66 インストール % sudo gem install racknga 65/69

67 文書検索ラングバの紹介 66/69

68 文書検索ラングバ全文検索システム一式ホスト1 台で運用できる規模向け groongaサーバ構成ではないため groonga の特性を活かす UI ドリルダウンリリース日 : comming soon... 67/69

69 まとめ Rubyとgroongaは相性がよい関連ライブラリツール色々 rroonga ActiveGroonga 使ってみよう! 68/69

70 お知らせクリアコード開発者募集中応募条件プログラミングが好きなこと 69/69

Apache Arrow 須藤功平株式会社クリアコード RubyData Tokyo Meetup Apache Arrow Powered by Rabbit 2.2.2

Apache Arrow 須藤功平株式会社クリアコード RubyData Tokyo Meetup 2018-11-17 Apache Arrow 各種言語で使えるインメモリーデータ処理プラットフォーム提供するもの高速なデータフォーマット高速なデータ処理ロジック各プロダクトで個別に実装するより一緒にいいものを実装して共有しよう! 効率的なデータ交換処理... 利用例 Apache Arrow