MySQL Cluster

Size: px

Start display at page:

Download "MySQL Cluster"

あいねよせ
5 years ago
Views:

1 MySQL 日本語処理現状と今後松信嘉範 (MATSUNOBU Yoshinori) MySQL 株式会社シニアコンサルタント 1

2 今回の内容 MySQL6.0 の 4 バイト UTF-8 文字対応日本語文字列のソート Unicode シフト JIS 日本語 EUC の長所短所の整理日本語のテーブル名 2

3 4 バイト UTF-8 文字とは UTF-8 は 1 バイト ~4 バイトで表現される 1 バイト : ASCII 2 バイト : ラテン / ギリシャ / キリル / アラビア文字など 3 バイト : 日本語文字 ( 全角 / 半角 ) ハングル文字など 4 バイト : JIS 第 3 第 4 水準漢字の一部など (JIS X 0213 の一部が該当 ) 5 6 バイトも用意されているが使われる予定は無い 1~4 バイトまでで約 203 万文字を扱える 4 バイトの UTF-8 文字を扱うにはサロゲート領域を考慮する必要がある MySQL5.1 まではサロゲート領域のサポートが無く 3 バイト UTF-8 までしか扱えない 3

4 Unicode のカバー範囲 UTF-8 (1-6 bytes: RFC2279) UCS-4 2 Billion Not Needed UTF-8 (1-4 bytes: RFC3629) UTF-16, part of UCS-4 2 Million UTF-8 (1-3 bytes) UCS-2 65, までで扱えない範囲 4

5 JIS X 0213 の 4 バイト UTF-8 文字一覧 5

6 5.1 までの動作 mysql> CREATE TABLE t1 (c1 VARCHAR(30)) CHARSET utf8; Query OK, 0 rows affected (0.17 sec) # 0xF is a 4byte UTF-8 character mysql> INSERT INTO t1 VALUES(0xF ); Query OK, 1 row affected, 1 warning (0.08 sec) # "abc" + 4byte UTF-8 + "def" mysql> INSERT INTO t1 VALUES(0x616263F ); Query OK, 1 row affected, 1 warning (0.03 sec) # "def" is truncated mysql> SELECT HEX(c1) FROM t1; HEX(c1) 格納自体ができない 4 バイト UTF-8 文字だけでなくその先が全部削られて格納される sql_mode= STRICT_ALL_TABLES の場合は Warning ではなく Error になる 6

7 6.0 の動作 mysql> CREATE TABLE t1 (c1 VARCHAR(30)) CHARSET utf8; Query OK, 0 rows affected (0.17 sec) # 0xF is a 4byte UTF-8 character mysql> INSERT INTO t1 VALUES(0xF ); Query OK, 1 row affected (0.03 sec) # "abc" + 4byte UTF-8 + "def" mysql> INSERT INTO t1 VALUES(0x616263F ); Query OK, 1 row affected (0.00 sec) mysql> SELECT HEX(c1) FROM t1; HEX(c1) F F rows in set (0.09 sec) そのまま格納できるもちろん取り出して読むこともできる 7

8 対応関係 5.1 まで 6.0 以降サロゲート領域非対応サロゲート領域にも対応 utf8 ucs2 なし utf8mb3 ucs2 utf8 utf16 utf の utf8 は 6.0 の utfmb3 に対応 6.0 では utf8(4 バイト対応 ) に加え utf16 と utf32 もサポート MySQL5.1 以下で utf8 作ったテーブルをそのまま ( バイナリコピーで )6.0 に持って行った場合 utf8mb3 になるクライアントエンコーディングを utf8 に設定すると (CharacterEncoding や SET NAMES 等 ) 5.1 では utf8 (3 バイト ) 6.0 では utf8 (4 バイト ) 8

9 補足 4 バイト UTF-8 は MEMORY ストレージエンジンで副作用 VARCHAR (100) CHARSET utf8 は 400 バイトを使う GROUP BY などで作られる In Memory テンポラリテーブルも同様可変長 MEMORY ストレージエンジンを準備中 (ebay Patch) cp932 や eucjpms であればとりあえず JIS X 0213 文字の INSERT/SELECT はできるシフト JIS(cp932) や日本語 EUC(eucjpms) との変換は今のところ (MySQL 内では ) できない PostgreSQL の SHIFT_JIS_2004 のようなエンコーディングを作れば可能作ったところでそもそもカバー範囲が違う (Unicode の方が広い ) ので中国語とかは当然変換できない必要があれば MySQL の外で変換して入れれば良い文字コード変換は CPU リソースを使うので DB サーバよりもスケールアウトが簡単なところ (AP サーバ等 ) で行なった方が良いこのニーズはどこまであるのか? 9

10 日本語文字列のソート現状はコードポイントの順にソートシフト JIS 日本語 EUC Unicode でソート順が微妙に違うひらがなカタカナはだいたいうまくソートしてくれる第 1 水準漢字はシフト JIS 日本語 EUC ともになんとなくソートしてくれるソートの標準仕様 JIS X 4061 辞書 ( 電話帳 ) 検索にも対応 MySQL は日本語文字列のソートについて特に何か特別なことをしているわけではない要望が強ければ対処することも可能 10

11 ソート例 1( ひらがなカタカナ ) 電話帳順 MySQL cp932 MySQL eucjpms MySQL utf8 ウィザードウィザードウィザードウィザードグリフォンクレリッククレリッククレリッククレリックグリフォングリフォングリフォンゴーゴンゴーゴンゴーゴンゴブリンゴブリンゴブリンゴブリンゴーゴンヴァルキリーホワイトドラゴンホワイトドラゴンホワイトドラゴンホワイトドラゴンヴァルキリーヴァルキリーヴァルキリーどれもそれなりに自然な形で並ぶ ( 微妙に正確性に欠ける ) コードポイントで比較すると濁音は清音よりも必ず後に来る電話帳では次の音と比較した結果によっては前に来ることもある Unicode のコードポイントではン < ヴ < ーの並び順 11

12 ソート例 2 漢字電話帳順 MySQL cp932 MySQL eucjpms MySQL utf8 會川 ( あいかわ : JIS 第 2 水準 ) 阿部阿部加藤阿部安藤安藤宇野安藤宇野宇野安藤宇野加藤加藤會川江藤江藤江藤江藤加藤會川會川阿部シフト JIS と日本語 EUC は第 1 水準漢字のコードポイント < 第 2 水準漢字のコードポイント最も多用される第 1 水準漢字のコードポイントは音読み順なのでシフト JIS と日本語 EUC はそれなりに自然な形に並ぶ ( 正確なわけではない ) 第 2 水準漢字は部首順 Unicode は統制が無いに等しい 12

13 ソートの標準仕様 JIS X 4061 JIS X 4061:1996 ( 日本語文字列照合順番 ) 辞書順ソートを実現するエンコーディングに依存しない実装上の課題コードポイントではなく標準仕様のソート順を数値化その文字だけでなく次の文字を考慮する必要があるかき < がけ < かに重み付け 13

14 Unicode で本当に幸せになれるのか? UTF-8 日本語の文字は 1 文字あたり 3 バイト ( 一部 4 バイト ) シフト JIS や日本語 EUC に比べて大きく不利 UTF-16 日本語文字は 2 バイト ( 一部 4 バイト ) だが ASCII 文字も 2 バイト現実的には ASCII 文字を多用するのでシフト JIS や日本語 EUC に比べて大きく不利シフト JIS 0x5C 問題さえ無ければ日本語 EUC エンコーディングの統制が取れていれば 14

15 3 バイト文字と 2 バイト文字の違いは大きい Wikipedia 日本語版で検証 UTF-8 で作られている全コンテンツを XML 形式でダウンロードできる XML を変換することで MySQL にダンプする元となるテキストファイルを生成可能 iconv でシフト JIS や日本語 EUC に変換させてそれぞれのサイズを比較一部変換できない文字があるがサイズを比較する上では無視できる範囲 UTF-8 ( オリジナル ) CP932 EUCJP-MS MB MB MB 2700MB -> MB ( 約 25% の削減 ) 25% の省スペース化は一般的なチューニングの観点からは大きな成果 15

16 EUC-JP 日本語 EUC のエンコーディング MySQL の ujis Java の EUC-JP ベンダー定義文字やユーザー定義外字には非対応 eucjpms MySQL の eucjpms PostgreSQL の EUC PHP の eucjp-win NEC/IBM 文字 JIS X 0212( 補助漢字 ) ユーザー定義外字に対応 IBM 拡張文字は 3 バイト cp51932 (Internet Explorer の EUC-JP) JIS X 0212 ユーザー定義外字には非対応 IBM 拡張文字は 2 バイト Firefox の EUC-JP cp51932 に JIS X 0212 を追加 EUC_JP_Solaris Java のベンダー定義文字対応の EUC ユーザー定義外字には非対応 16

17 MySQL を EUC にしたい場合によく推奨される設定クライアントサイド ( ブラウザ ) では Windows-31J( または UTF-8) Web サーバ /AP 層で Windows-31J( または UTF-8) から eucjpms に変換 PHP なら eucjp-win Perl なら Encode::EUCJPMS Java では eucjpms に完全対応したエンコーディングは無い MySQL には変換なしでそのまま格納 UTF-8 ではなく EUC を使う理由省スペース化によるパフォーマンス向上とディスク領域削減多国籍言語対応が必要なら UTF-8 しかないシフト JIS ではなく EUC を使う理由 0x5C 問題が嫌だから MySQL 側で文字コード変換をしない理由 CPU リソースを過度に使わせないため AP 層の方がスケールアウトしやすい 17

18 日本語のテーブル名 5.0 までは日本語でテーブルを作ることは事実上できなかったテーブル名.frm というテーブル定義ファイルができるここに日本語名が入るエンコーディング環境の異なる OS 間では機能しないクライアントエンコーディングが違ってもだめ港 (0x60, `) など特別な記号と一致するコードポイントを含むとだめ 5.1 からは + Unicode のコードポイントで表現 18

19 例 @90fd@9053@5e9c@770c.frm 仕入先受注受注明細商品商品区分得意先社員運送会社都道府県 Microsoft Access のサンプルデータベース Northwind からの移行 19

20 ご質問 / ご意見等は ymatsunobu@mysql.com ありがとうございました 20

MySQL 日本語処理完全解説住商情報システム株式会社プラットフォームソリューション事業部門 IT 基盤ソリューション事業部オープンソースシステム部玉川修一 1

MySQL 日本語処理完全解説住商情報システム株式会社プラットフォームソリューション事業部門 IT 基盤ソリューション事業部オープンソースシステム部玉川修一 1 MySQL 日本語処理完全解説住商情報システム株式会社プラットフォームソリューション事業部門 IT 基盤ソリューション事業部オープンソースシステム部玉川修一 1 今日の内容 MySQL 概要日本語処理対策問題点原因解決策 2 MySQL 概要 3 MySQL とは - オープンソースのデータベーススウェーデン発オープンソースの RDBMS 1 日あたりの平均ダウンロード数 5 万全世界で