はじめに 開催の目的 今回の内容 Any Questions?

Transcription

1 Groonga meetup #2 林健太郎 クリアコード Groonga meetup 2014/04/29

2 はじめに 開催の目的 今回の内容 Any Questions?

3 開催の目的 (1) 全文検索をしたい人の最初の一歩を踏みだしやすくしよう

4 今回の内容 (1) 全文検索事始め GroongaやMroongaの特長の紹介最新版の導入について GroongaやMroongaの環境構築

5 今回の内容 (2) 題材の説明と実際の演習 ( 随時 ) Any Questions?

6 全文検索事始め 既存のシステムに全文検索導入したい 手持ちのメタ情報を効率良く検索したい

7 Groonga の特長 (1) 全文検索と即時更新 参照ロックフリー 更新しつつ検索 OK カラムストアを採用 集計クエリを高速に処理可能

8 Groonga の特長 (2) 豊富なトークナイザー 検索漏れないことを重視しますか? 検索精度を重視しますか? 位置情報検索のサポート

9 Groonga の特長 (3) アプリケーションへの組込み ライブラリとして活用可能 実はバックエンドで Groonga が動いていることも

10 Groonga とパッケージ Debian Ubuntu CentOS Fedora Windows

11 Groonga on Debian Debian 7.4 (wheezy) Debian 8 (jessie) Debian unstable (sid)

12 Groonga on Ubuntu(1) Ubuntu (Precise) Ubuntu (Quantal) 明日でサポート終了 まで Ubuntu (Raring) すでにサポート終了 まで

13 Groonga on Ubuntu(2) Ubuntu (Saucy) 7 月にサポート終了 Ubuntu (Trusty) 今月からサポート開始

14 Groonga on CentOS CentOS 5/6 中国語のトークナイザーは未サポート CentOS 7? まだ rc ベースらしいのでしばらく先

15 Groonga on Fedora(1) Fedora 20 中国語のトークナイザーは未サポート Groonga 公式と Fedora 公式に違いはない Fedora でリリースするのはちょっと遅れる (2-3 週 )

16 Groonga on Fedora(2) リリース短縮には Karma が必要

17 Fedora で Karma を稼ぐ BohdiにログインメニューのTestingを選択 Groongaパッケージを選択 works for meコメントを追加

18 Fedora で Karma を稼ぐ (1) BohdiにログインメニューのTestingを選択 Groongaパッケージを選択 works for meコメントを追加

19 Fedora で Karma を稼ぐ (2) BohdiにログインメニューのTestingを選択 Groongaパッケージを選択 works for meコメントを追加

20 Fedora で Karma を稼ぐ (2) Testing って?

21 Fedora で Karma を稼ぐ (3) BohdiにログインメニューのTestingを選択 Groongaパッケージを選択 works for meコメントを追加

22 Fedora で Karma を稼ぐ (4) BohdiにログインメニューのTestingを選択 Groongaパッケージを選択 works for meコメントを追加

23 Fedora で Karma を稼ぐ (4) works for me コメントって? これを送信すると Karma +1

24 Mroonga の特長 (1) 導入しやすいプラグイン形式 他のストレージエンジンとの連携 ラッパーモード

25 Mroonga の特長 (2) データ更新が多くても検索性能が良い LIKE からの置き換えも比較的容易

26 Mroonga とパッケージ Debian Ubuntu CentOS Fedora Windows

27 Mroonga on Debian MySQL 5.5 系 Debian 7.4 (wheezy) Debian 8 (jessie) Debian unstable (sid)

28 Mroonga on Ubuntu(1) MySQL 5.5 系 Ubuntu (Precise) Ubuntu (Quantal) 明日でサポート終了 4.01 まで Ubuntu (Raring) すでにサポート終了 3.12 まで

29 Mroonga on Ubuntu(2) MySQL 5.5 系 Ubuntu (Saucy) 7 月にサポート終了 Ubuntu (Trusty) 今月からサポート開始

30 Mroonga on CentOS 5 CentOS 5 以前は MySQL が古すぎたので MySQL 5.6 対応パッケージを提供 MySQL 5.5(SCL) 対応パッケージに移行

31 Mroonga on CentOS 6 CentOS 6 MySQL 5.1 しか使えないというのは古い情報です! MySQL 5.5 対応 (SCL) パッケージに移行

32 Mroonga on CentOS CentOS 5 や CentOS 6 で MySQL 5.6 wing リポジトリをお勧めしています

33 Mroonga on Fedora Fedora 20 MySQL 5.5 & MariaDB 5.5 対応 Fedora 公式リポジトリでは未リリース Mroonga 含めてインストールしたいなら Groonga リポジトリを登録する

34 環境構築してみよう Groonga のインストール Mroonga のインストール

35 どれをインストールしたらいい?(1) groonga ちょっとお試しで使うならコレ コマンドラインで使うだけ いろいろ指定すればサーバーとしても利用可

36 どれをインストールしたらいい?(2) groonga-server-http サーバー立てるならコレ groonga-server-gqtp 特に理由がなければスルー

37 どれをインストールしたらいい?(3) groonga-httpd 不満がでてきたらコレ POST したいならコレ一択

38 どれをインストールしたらいい?(3) groonga-httpd 不満がでてきたらコレ POST したいならコレ一択

39 Install Groonga(1) Groonga をインストールしてみましょう groonga-httpd

40 Install Groonga(2) トークナイザーやノーマライザーをインストールしてみましょう groonga-tokenizer-mecab groonga-normalizer-mysql

41 Install Groonga(3) Groonga が起動しているか確認しましょう % curl

42 Install Groonga(4) Groonga が起動していない場合は起動しましょう % sudo service groonga-httpd start

43 Install Mroonga(1) Mroonga をインストールしてみましょう

44 Install Mroonga(2) Mroonga が使えるか確認しましょう mysql> show engines;

45 Install Mroonga(3) インストールされているとどうなる? mysql> SELECT * FROM mysql.plugin; name dl mroonga ha_mroonga.so row in set (0.00 sec)

46 Install Mroonga(4) インストールされているとどうなる? mysql> SELECT * FROM mysql.func; name ret dl type last_insert_grn_id 2 ha_mroonga.so function mroonga_snippet 0 ha_mroonga.so function mroonga_command 0 ha_mroonga.so function mroonga_escape 0 ha_mroonga.so function rows in set (0.00 sec)

47 今回の演習の題材 駅データ.jp

48 題材のダウンロード 以下から今回使うサンプルをダウンロードしてください

49 Groonga 編 よく使う groonga コマンド table_create/table_remove column_create/column_remove select/load/delete/dump

50 テーブルのキーの話 いろいろあるけど TABLE_PAT_KEY 長過ぎるキーは禁物 (ShortText) table_create Company TABLE_PAT_KEY UInt32

51 データを追加 / 更新しよう 多才な load コマンド 追加も更新もこれ一つで

52 失敗時にわかりやすいロードの仕方 (1) こうやってロードできるけど load --table Company [ ["_key", "column1", "column2",... ["key1", "data1", "data2",...

53 失敗時にわかりやすいロードの仕方 (2) key:value のペアがわかりやすい load --table Company [ {"_key": "key1", "column1":"data1", "column2":",...

54 失敗時にわかりやすいロードの仕方 (3) 実際に試してみましょう % 0001-load/load-fail.sh % 0001-load/load-succeed.sh [[0, , ],3]

55 データをより安全にロードする (3) 実際に試してみましょう _key:3 の status が抜けている %./0001-load/load-fail.sh %./0001-load/load-succeed.sh [[0, , ],3]

56 データを更新してみよう 実際に試してみましょう _key:3 の status を更新します %./0002-update/update-status.sh

57 データを検索してみよう 実際に試してみましょう 1 件もヒットしない %./0003-search/search-name.sh

58 検索するにはインデックスが必要 (1) インデックスを追加してみましょう %./0003-search/add-index.sh

59 検索するにはインデックスが必要 (2) COLUMN_INDEX を指定するのがポイントです table_remove Lexicon table_create Lexicon TABLE_PAT_KEY ShortText --default_tokenizer \ TokenBigram --normalizer NormalizerAuto column_create Lexicon name_index COLUMN_INDEX WITH_SECTION WITH_POSITION Users name column_create Lexicon sect_index COLUMN_INDEX WITH_SECTION WITH_POSITION Users sect

60 検索するにはインデックスが必要 (3) 再度検索してみましょう %./0003-search/search-name.sh

61 検索するにはインデックスが必要 (4) インデックスを覗いてみる %./0003-search/dump-lexicon.sh

62 データを削除してみよう (1) キーをもとに削除する delete Company 2 % 0004-delete/delete-by-key.sh

63 データを削除してみよう (2) name カラムの値をもとに削除する delete Company --filter "name == 'JR 北海道 '" % 0004-delete/delete-by-name.sh

64 データを削除してみよう (3) status の値をもとに削除する delete Company --filter 'status > 0' % 0004-delete/delete-by-status.sh

65 HTTP 経由でのリクエストの基本 コマンド名 + キー = 値のペア コマンド名? キー 1= 値 1& キー 2= 値 2...

66 HTTP 経由でテーブルを作成する (1) table_create コマンドを使ってアクセス %./0005-create-table/create-table.sh curl '

67 HTTP 経由でカラムを作成する (1) column_create コマンドを使ってアクセス %./0006-create-column/create-column.sh curl '

68 POST でデータを更新する (1) POST でデータをロードしてみましょう %./0007-post-data/post-data.sh

69 HTTP でデータを検索する (1) HTTP 経由で検索してみましょう %./0008-search-http/search-http.sh

70 管理画面を触ってみよう ブラウザで次の URL にアクセスしてください

71 Mroonga 編

72 モードの違いをおさえる (1) ラッパーモード データは他のストレージエンジン 全文検索を Mroonga でがんばる トランザクションでロールバックすると不整合発生 チューニングは MySQL の範囲で

73 モードの違いをおさえる (2) ストレージモード 全部 Mroonga でがんばる トランザクション何それ?

74 ストレージモード ENGINE=mroonga と覚えましょう

75 ラッパーモード コメントでエンジンを指定 ENGINE=mroonga COMMENT='engine "innodb"'

76 パーサーの指定 コメントでパーサーを指定 Groonga の用語だとトークナイザー FULLTEXT INDEX (content) COMMENT 'parser "TokenMecab"'

77 ノーマライザーの指定 コメントでノーマライザーを指定 FULLTEXT INDEX (content) COMMENT 'normalizer "NormalizerAuto"'

78 パーサー & ノーマライザーの指定 両方指定したいときは, で区切る FULLTEXT INDEX (content) COMMENT 'parser "TokenMecab", normalizer "NormalizerAuto"'

79 MATCH AGAINST と BOOLEAN MODE QUERY EXPANSION MODE MySQL におまかせの類似文書検索 BOOLEAN MODE 明示的に検索を制御

80 位置情報検索 Qiita の位置情報検索の記事を試してみよう

81 感謝 WEIC さん会場提供ありがとうございます!

82 おわり Any Questions?