MySQL 日本語処理完全解説住商情報システム株式会社プラットフォームソリューション事業部門 IT 基盤ソリューション事業部オープンソースシステム部玉川修一 1

Size: px

Start display at page:

Download "MySQL 日本語処理完全解説住商情報システム株式会社プラットフォームソリューション事業部門 IT 基盤ソリューション事業部オープンソースシステム部玉川修一 1"

つかさおとじま
4 years ago
Views:

1 MySQL 日本語処理完全解説住商情報システム株式会社プラットフォームソリューション事業部門 IT 基盤ソリューション事業部オープンソースシステム部玉川修一 1

2 今日の内容 MySQL 概要日本語処理対策問題点原因解決策 2

3 MySQL 概要 3

4 MySQL とは - オープンソースのデータベーススウェーデン発オープンソースの RDBMS 1 日あたりの平均ダウンロード数 5 万全世界で 1000 万インストレーション (2006 年 4 月現在 ) 普及度は世界 No.1 のOSS RDBMS 4

5 MySQL バージョン以下と 4.1 以上では日本語の取り扱いが異なる 5.1(beta) 5.0(GA) 4.1(GA) 4.0(old) 3.23(old) GA: Generally Available 5

6 日本語処理の留意点 - いろいろあります 1. 文字化け対策基礎 2. クライアントライブラリ 3. ( 株 ) 問題 4. Unicode 変換ルール問題 5. ラウンドトリップ変換問題 6. Java のキャラクターセット 7. 日本語メタデータ 8. 日本語全文検索 6

7 1. 文字化け対策基礎 7

8 MySQL で文字化けしてしまいます!! FAQ 特に ver.4.1 のリリース以降他のマルチバイトユーザーも経験 8

9 文字化けの例をインストールはしてみたものの mysql> CREATE TABLE t1(a CHAR(1)) > DEFAULT CHARACTER SET = sjis; Query OK, 0 rows affected (0.09 sec) mysql> INSERT INTO t1 VALUES(' あ '); Query OK, 1 row affected, 1 warning (0.05 sec) mysql> SELECT * FROM t1; a? ? row in set (0.00 sec) 9

10 MySQL で日本語使える? - はいちゃんと使えますほとんどの場合がキャラクターセットの設定ミスが原因正しい設定を行えば簡単に解決できる場合が多数 10

11 問題を理解する為に - まずは基礎から解説キャラクターセットとは? 主なキャラクターセット MySQL 4.0 以下とMySQL 4.1 以上の違い 11

12 MySQL のキャラクターセットとは? - 文字集合 + 文字エンコーディング文字集合どんな文字が使えるか文字エンコーディングどうやって文字を表現するかというルール sjis エンコーディングであという文字は 0x82A0 と表現 ujis エンコーディングであという文字は 0xA4A A4A2 と表現 MySQL のキャラクターセット文字集合と文字エンコーディングの組み合わせ文字コードあるキャラクターセットにおける文字の値 sjis キャラクターセットであの文字コードは 0x82A0 12

13 現在使える主なキャラクターセット - 日本語が使えるのは 6 種類 sjis ujis cp932 eucjpms utf8 ucs2 latin1 主に Windows 向け ASCII 文字ひらがなカタカナ JIS 第一第二水準漢字等が使用可能主に Unix/Linux 向け sjis の文字集合に加えて補助漢字等が使用可能 sjis の文字集合に加え NEC 特殊文字等の外字が使用可能文字コード体系は sjis とほぼ同等 ujis の文字集合に加え NEC 特殊文字等の外字が使用可能文字コード体系は ujis とほぼ同等各国言語が使用可能な国際文字集合 Ver. 4.1 以降で使用可能各国言語が使用可能な国際文字集合 Ver. 4.1 以降で使用可能 MySQL のデフォルトキャラクターセット ASCII 文字アクセント付アルファベットのみ使用可能 13

14 MySQL 4.0 以下の処理 - 文字コードの変換はなしクライアントサーバー文字コードをそのまま格納サーバークライアント文字コードをそのまま表示クライアントサーバーあ (0x82A0) あ (0x82A0) 14

15 MySQL 4.0 以下の処理 - latin1 でも日本語 OK キャラクターセットにかかわらず文字コードをそのまま送受信キャラクターセットがデフォルトの latin1 でも日本語の利用は ( 見かけ上 *)) 可能だったキャラクターセットを変換する機能はない * 文字列長の認識やソート順序に影響有り 15

16 MySQL 4.1 以上の処理 - 機能が強化され高度になりましたテーブル ( カラム ) キャラクターセットの概念文字コード変換機能 + Unicode サポート文字コードの自動変換機能キャラクターセット変数の追加 16

17 MySQL 4.1 以上の処理 - テーブルキャラクターセットが指定できます CREATE TABLE `table1` ( `column1` char(8) default NULL ) ENGINE=MyISAM DEFAULT CHARSET=sjis 17

18 MySQL 4.1 の処理 - Unicode を介して変換できます sjis ujis utf8 Unicode (ucs2) sjis ujis utf8 latin1 latin1 18

19 MySQL 4.1 の処理 - 自動変換が行われますクライアント sjis 自動変換サーバー ujis あ (0x82A0) あ (0xA4A2) 19

20 MySQL 4.1 の処理 - 変数が増えました character_set_client クライアントプログラム起動時の --default-character-set オプションが影響クライアントから入力された文字のキャラクタセットクライアント character_set_connection character_set_results テーブルアクセスのないサーバ処理のキャラクタセット返された結果を表示するキャラクタセット character_set_server character_set_database CREATE DATABASE のデフォルトキャラクタセット CREATE TABLE のデフォルトキャラクタセットサーバー mysqld 起動時の --default-character-set オプションが影響 20

21 文字化け発生のメカニズム - こんなイメージです (4.1 <) < クライアント (Windows マシン ) 入力された文は 0x82 と 0xA0 の 2 文字だな送られてきた文字は latin1の 0x82 と 0xA0 かテーブルがsjis なので sjisに変換だ! サーバーあを Insert (0x82A0) サーバー default character set = sjis クライアントキャラクタセット変数 character_set_client = latin1 character_set_connection = latin1 character_set_result = latin1 今から送る文字は latin1 の 0x82 と 0xA0 だぞ! 文字化け発生あ ->?? 21

22 文字化け発生の条件 (4.1 ( <) < - ポイントは変換と文字集合文字コードの変換が発生 Unicode とのマッピングが定義されていない文字集合の範囲外の文字を使用の文字を使用変換元と変換先の文字集合の違い 22

23 対策 (4.1 <) < - ポイントは変換の回避文字コードの変換を回避クライアント / サーバー間でキャラクターセットを統一変換元キャラクターセットと変換先キャラクターセットの互換性を理解して使用 23

24 対策 ( 設定例 ) - この様に設定すれば OK mysql クライアントを使う限りでは my.cnf ファイルで設定可能 [mysqld] default-character character-set = sjis [mysql] default-character character-set = sjis 24

25 2. クライアントライブラリ 25

26 問題はクライアントライブラリ - キャラクターセットは常に latin1 my.cnf では設定済み mysql クライアントでは問題なし PHP 等のプログラムでは文字化け問題はバイナリ配布のクライアントライブラリキャラクターセットは latin1 でコンパイル my.cnf ファイルの設定は影響しない 26

27 対策 - 方法は 3 通りソースからコンパイル./configure --with with-charset= charset=character_set_namecharacter_set_name 接続直後に SET NAMES character_set_name の実行 mysqld 起動オプション --skip skip-character-set-client-handshake (MySQL , ~) 27

28 対策 - この様に設定すれば OK( ( 例 ) my.cnf ファイル [mysqld] default-character character-set = sjis skip-character character-set-client-handshake [mysql] default-character character-set =sjis 28

29 3.( 株 ) 問題 29

30 文字化けの例 - が文字化け! mysql> CREATE TABLE `table1` (`column1` char(8)) -> > ENGINE=MyISAM -> > DEFAULT CHARSET=utf8; Query OK, 0 rows affected (0.12 sec) mysql> insert into table1 values(' '); Query OK, 1 row affected, 1 warning (0.00 sec) mysql> select * from table1; column ?

31 ( 株 ) 問題 - 機種依存文字の文字化け Windows 機種依存文字が化けする問題 NEC 特殊文字 IBM 拡張文字 NEC 選定 IBM 拡張文字 Windows のシフト JIS とMySQL のsjis の文字集合の違いが原因 31

32 イメージ図 - 変換マッピングルールがないのです sjis ucs2 utf8 マッピングありマッピングあり sjis の文字集合 sjis ではカバーされない文字集合?? マッピングなし文字化け 32

33 シフト JIS と sjis - 実は違うんです MySQL の sjis はIANA の Shift_JIS Windows のシフト JIS はWindows Code Page 932( ( 通称 cp932) IANA では Windows31-J に相当 cp932/windows31-j の文字集合をカバーするキャラクターセットが必要解決策は後ほど 33

34 4.Unicode 変換ルールルール問題 34

35 Unicode 変換ルールルール問題 - 変換ルールも異なるシフト JIS この世には異なるシフト JIS が存在それぞれ一部の文字について Unicode への変換ルールルールが異なる変換が異なる文字の例 \~ - 35

36 Unicode 変換ルールルール問題 - Unicode に変換すると違う文字に! sjis 0x8191 ( 全角 ) その他 0x8191 ( 全角 ) ucs2 0x00A2 ( 半角 ) 0xFFE0 ( 全角 ) 変換の結果全角が半角に! 変換後も全角のまま解決策は後ほど 36

37 5. ラウンドトリップ問題 37

38 ラウンドトリップ問題 - ディレクトリパスが変!? 38

39 ラウンドトリップ問題 - こんなイメージです sjis 0x5C 0x815F \ 異なる複数の文字が一つの文字に変換 ucs2 0x005C 結果として片方の文字が消えてしまう戻す時はどちらか選ばないといけない sjis 0x5C 0x815F \ 39

40 解決策 - cp932 で3つまとめて全て解決新キャラクターセット cp932 を実装 3つの問題すべて解決問題 Unicode 変換ルール問題ラウンドトリップ問題ちなみにこれ SCS がやりました 40

41 cp932 とは sjis の拡張 Windows 機種依存文字をカバー ( 株 ) 問題を解決 Windows 方式の Unicode 変換 Unicode 変換ルール問題を解決ラウンドトリップ問題を解決 41

42 sjis とcp932 - 文字集合が違います %& abc 123 アイウあいうアイウ亜井宇 sjis jisx0201 jisx0208 cp932 jisx0201 jisx0208 NEC 特殊文字 IBM 拡張文字 NEC 選定 IBM 拡張文字 Ⅰ1 平成纊褜鍈纊褜鍈 42

43 sjis とcp932 - 変換ルールも違います cp932 sjis 0x8191 0x5C 0x815F \ ucs2 0xFFE0 0x005C 0xFF3C \ 43

44 sjis とcp932 - ユーザー定義領域もカバー 44

45 eucjpms - ujis で ( 株 ) を使いたい場合に ujis の拡張 cp932 互換 ujis でWindows 機種依存文字を格納する場合に使用 5.0 以上で使用可能詳細は日本 MySQL パートナ会の記事参照 cp932 eucjpms で Google! 45

46 対処方法 -sjis/ujis よりも cp932/eucjpms を my.cnf ファイル [mysqld] defaulṯ-character defaultcharacteṟ-set=cp932 skip-character characteṟ-set seṯ-cli ent -handshake [mysql] defaulṯ-character defaultcharacteṟ-set=cp932 cp932:4.1,5.0 eucjpms:5.0 46

47 6.Java の注意点 47

48 Java とMySQL のキャラクターセット - Connector/J でマッピングキャラクターセットの名称は Java と MySQL で異なる Connector/J でマッピング例 ) (MySQL)) cp932 = (Java) MS932 (MySQL) cp932 = (Java) Windows-31J 48

49 cp932 使用時の問題点 - Connector/J がcp932 に完全対応していなかった Windows-31J(MS932) を使用しても ( 株 ) を表示できない!? INSERT は出来るが SELECT はエラーに Connector/J JVM WINDOWS31-J MS932 WINDOWS31-J 未定義 cp932 cp932 cp932 MySQL MS932 未定義 cp932 49

50 eucjpms 使用時の問題点 - eucjpms とJava のキャラクターセットは非完全互換 eucjpms は互換性のない EUC_JP にマッピング ( 株 ) が文字化け Connector/J JVM EUC_JP_Solaris EUC_JP_Solaris eucjpms eucjpms MySQL 50

51 EUC_JP_Solaris - better solution ( best( solution) eucjpms と完全互換のわけではない互換性のない文字 - このような特殊記号のみ影響特殊記号のみ影響但し ( 株 ) は使用可能実はこれも SCS が実装しました 51

52 対策 - Java でのまとめ cp932 には WINDOWS-31J / MS932 を使用 eucjpms には EUC_JP_Solaris を使用互換性のない文字について留意すること Java 側キャラクターセット WINDOWS-31J MS932 EUC_JP_Solaris SJIS EUC_JP UTF-8 MySQL 側キャラクターセット cp932 cp932 eucjpms sjis ujis utf8 (Connector/J ver 以上 ) 52

53 7. 日本語テーブル名問題 53

54 日本語テーブル名問題データベース名 = ディレクトリ名テーブル名 = ファイル名 4.1 以降テーブル名データベース名等のメタデータは utf8 で保存データベース名やテーブル名に日本語を使用した場合に問題あり (bug#3906( bug#3906) 54

55 日本語テーブル名問題 Utf8 で保存された名前を使用してファイルを作成しシフト JIS で表示している為文字化けが発生 55

56 日本語テーブル名問題 Ver コードポイントで表現 56

57 対処方法 - 日本語メタデータの使用は控えましょう 5.1 を使用するまでは日本語メタデータを使用しない方が安全 57

58 8. 日本語全文検索 58

59 MySQL で日本語全文検索 - 機能はあるが分かち書きが必要 MyISAM ストレージエンジンでは全文検索用インデックスをサポート但し日本語のような言語には未対応別途分かち書きを行ってやる必要有り 59

60 対処方法 -MySQL+SennaSenna * という選択肢組み込み型の全文検索エンジン MySQL に組み込み可 SQL のみで全文検索が可能に * 未来検索ブラジルが開発したオープンソースソフトウェア 60

61 MySQL+Senna Senna - 詳細はこちらで Open Source Pavilion MySQL + Senna を紹介ブース MySQL Senna のデモ 61

62 まとめ 62

63 まとめ -MySQL での日本語処理対策課題基本的な文字化けクライアントライブラリ ( 株 ) 問題対策キャラクターセットオプションの設定 1. --skip-client-character-set-handshake 2. SET NAMES キャラクターセット名 3../configure with-charset= キャラクターセット名キャラクターセット cp932 の使用 Unicode 変換ルール問題ラウンドトリップ問題 JAVA 日本語メタデータ日本語全文検索 1. cp932 に対して MS932/Windows-31J を使用 2. Eucjpms に対して EUC_JP_Solaris を使用 5.1 まで原則使用しない MySQL + Senna を使用 63

64 MySQL なら SCS MySQL オフィシャルトレーニング MySQL ライセンスシステム構築詳細はご清聴ありがとうございましたご質問はまで 64

MySQL5.0データベースログファイルおよびステータスの収集

MySQL5.0データベースログファイルおよびステータスの収集 HP OpenSource MySQL 5.0 ver. 1.0 1 MySQL Server 5.0 MySQL Server 5.0 MySQL Server MySQL Server MySQL Server MySQL Character Set MySQL Character Set 1 MySQL Server MySQL Server 5.0 2 MySQL Server 5.0 MySQL

MySQL 日本語処理完全解説 住商情報システム株式会社プラットフォームソリューション事業部門 IT 基盤ソリューション事業部オープンソースシステム部玉川修一 1

MySQL 日本語処理完全解説住商情報システム株式会社プラットフォームソリューション事業部門 IT 基盤ソリューション事業部オープンソースシステム部玉川修一 1