スライド 1

Size: px

Start display at page:

Download "スライド 1"

えりかみのしま
5 years ago
Views:

2 本日の内容ロケールに関する復習文字集合とは文字エンコードとは UNICODE の文字集合とエンコード UCS と UTF 異体字と包摂

3 ポイントロケールとは何か? なぜ国際化が重要なのか? 英語版 windowsで一太郎は動くか? UNICODEは漢字を何バイトで表現する? タカシマヤのタカよしのやのヨシをワープロで入力するには?

4 ロケールとは? 言語や文化的なルールの集合 ( セット ) 使用言語通貨の書式日付の書式数値の書式コンピュータ環境の切り替えはロケールで行なう複数の国で同じ言語を利用している同じ国で複数の言語を利用する

5 ロケールに関連する環境変数 LC_COLLATE LC_CTYPE LC_MESSAGE LC_MONETARY 文字列のソート順扱う文字の種類 ( 大文字小文字の区別など ) 表示されるメッセージ通貨書式 LC_NUMERIC 数値書式 ( 区切り書式など ) LC_TYME LC_ALL, LANG 時刻と日付の書式すべての環境変数

6 ロケール名 < 言語コード >_< カントリーコード >.< 文字コード > ( 例 :LC_ALL=ja_JP.eucJP) 言語コードカントリーコード文字コード en fr it ja ko ru zh 英語フランス語イタリア語日本語韓国語ロシア語中国語 US FR IT JP KR RU CN アメリカフランスイタリア日本韓国ロシア中国 ja_jp.euc ja_jp.utf-8 ja_jp.sjis ja_jp.iso_2022_jp ja_jp (=ja_jp.euc)

7 地域化国際化と多言語化地域化 localization (L10n) 例 : 英語ソフトを日本語化する国際化 internationalization (i18n) ソフトウェアから言語異存部分を分離する国際化に基づく地域化多言語化 multilingualization (m17n) 複数の言語を同時に扱う

8 Windows OS のロケール (LCID) OS のロケール言語バージョンにより決定システムのロケールコントロールパネルの地域オプション複数言語をインストールすれば多言語化が可能

9 文字集合 (1) ASCII 7 ビット (128 種 ) の文字集合アルファベット数字記号制御文字文字用 :94+ 制御用 :34( 改行スペースなど ) ISO ビット拡張 ASCII(+128 種 ) ~ の 16 のバリエーション (Latin-1) が頻用 ( 西ヨーロッパ言語 )

10 文字集合 (2) JIS X 0201: 年に策定された ISO 8859 の日本版 8 ビット拡張分に半角カナ ASCII 非互換あり ( バックスラッシュとオーバーライン ) JIS X 0208: 年に策定された全角ひらカタ漢字を扱うための文字集合 94 の区と 94 の点の組み合わせ JIS X 0212:1990 補助漢字を追加 (6,067 文字 ) JIS X 0208 とセットで用いる ( 単体利用不可 )

11 文字集合 (3) JIS X 0213: 年に策定いわゆる JIS 第 3 第 4 水準を追加区と点 + 面 1 面 :JIS X 文字を追加 ( 第 3 水準 ) 2 面 :2400 文字を追加 ( 第 4 水準 ) JIS X :2001 ISO/IEC10646(UNICODE) の翻訳

12 JIS 文字集合の包含関係 JIS X (ISO/IEC , UCS) ( 漢字 70,195 文字以上 ) JIS X 0212 (5,801 文字 ) JIS X 0208 (6,349 文字 ) JIS X 0213(10,703 文字 ) より改変

13 文字エンコーディング ASCII 文字集合との互換性を保つ代表的な文字エンコーディング ISO-2022-JP (JIS)EUC-JP Shift JIS Codepage 932 SJIS の拡張 :NEC 特殊文字 IBM 拡張文字などを含む

14 UNICODE/ISO 文字集合 Universal Multiple-Octet Coded Character Set UCS-4 32bit ( 群 + 面 + 区 + 点各 8bit) UCS-2 16bit (UCS4 の 00 群 00 面 =BMP のみ ) 文字エンコーディング UCS Transformation Format UTF-8 可変長マルチバイト (ASCII 互換 ) Plan9 で UCS を利用するために Ken Thompson が考案 UTF ビット固定 (ASCII 非互換 ) UTF-7,UTF-32

15 UNICODE の文字集合 UCS-4 00 群 00 面 (Plane0) 基本多言語面 Basic Multilingual Plane(BMP) 00 群 01 面 (Plane1) 補助多言語面 (BMP に入っていない補助的文字 ) 00 群 02 面 (Plane2) 補助漢字面 (BMP に入っていない漢字 )

16 UTF-8 のマルチバイト処理 UCS-4 UTF-8 1 バイト目 2 バイト目 3 バイト目 4 バイト目 F 0xxxxxxx FF 110xxxxx 10xxxxxx FFFF 1110xxxx 10xxxxxx 10xxxxxx FFFF 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx 任意のバイトの最上位ビットが 1 であれば非 ASCII

17 Surrogate Pair UTF-16でBMP 以外を表現する方法 UTF-16をペアで使う (32bit) BMPの予約領域 U+D800~DFFFを用いる high surrogate U+D800~DBFF low surrogate U+DC00~DFFF (hs-0xd800) x (ls-0xdc00) + 0x10000 UTF-8 も UTF-16 もマルチバイトで UNICODE は 16bit 固定長ではないことに注意

JIS 文字コードと OS の関係 OS 名 Windows Me Windows XP MacOS MacOS X 主な符号化方法シフト JIS UCS-2(*) UTF-16 (**) シフト JIS(***) UTF-16 (**) 基本フォントの文字集合 JIS X 0208 JIS X 0212 JIS X 0208 JIS X 0212 JIS X 0208 JIS X 0208

18 JIS 文字コードと OS の関係 OS 名 Windows Me Windows XP MacOS MacOS X 主な符号化方法シフト JIS UCS-2(*) UTF-16 (**) シフト JIS(***) UTF-16 (**) 基本フォントの文字集合 JIS X 0208 JIS X 0212 JIS X 0208 JIS X 0212 JIS X 0208 JIS X 0208 JIS X α * Windows Me では文字の描画など一部で Unicode(JIS X 0221) を採用している UCS-2 は全体のうち約 65,000 文字だけ扱える方式 ** UTF-16 は JIS X 0221 の符号化方法で約 150 万文字を取り扱い可能これはすべての JIS 文字コードをふくむので原理的には JIS に収録されたすべての文字が取り扱い可能 *** シフト JIS は JIS の漢字としては JIS X 0208 だけしか扱えない

19 異体字と包摂異体字同等 ( 起源が同じ ) の文字だが違う字形をもつもの略字正字俗字古字本字など手書きによるバリエーション : 草かんむりの 3 画と 4 画略字 : 國と国しんにょうの 1 点と 2 点俗字 : 間違った書き方が定着した形は異なっても由来が同じ字 : 坂と阪弌と一似ていても由来が異なる文字 : 士と土文字とグリフの間にある概念地域文化や歴史に依存するあいまいな概念包摂形の異なる文字を同じ文字と定義すること JIS では同じコードポイントを振るという意味で使っている

20 UNICODE での異体字の扱い原則として同じコードポイントを与える (JIS も基本的には同じ考え方をとる ) CJK( 中日韓統一コード ) 字形が似ているものは共通のコードポイントラウンドトリップ変換の互換性日本で別字中国で包摂の場合は分離 UNICODE3.0 Plane14 に言語タグ異体字タグ

21 異体字検索別コードを振った異体字は文字コードレベルでは区別される標準化された異体字辞書の必要性

24 参考 1. 日本語環境は 4 つのポイントで制覇せよ UNIX USER vol.14, No.4, 文字の海ビットの舟 3. 日本語フォントや文字コードについて 4. 文字コード問題を考える 5. 異体字の迷宮 6. はいぱーワークブック

25 本日の内容コンピュータの日本語環境ー特に文字コードについてーロケールに関する復習文字集合とは文字エンコードとは UNICODE の文字集合とエンコード UCS と UTF 異体字と包摂新潟インターネット研究会勉強会 Jun. 06, 2005 鈴木一郎 Copyright 2005 Niigata Internet SOCiety. All Rights Reserved. ポイントロケールとは何か? なぜ国際化が重要なのか? 英語版 windowsで一太郎は動くか? UNICODEは漢字を何バイトで表現する? タカシマヤのタカよしのやのヨシをワープロで入力するには? ロケールとは? 言語や文化的なルールの集合 ( セット ) 使用言語通貨の書式日付の書式数値の書式コンピュータ環境の切り替えはロケールで行なう複数の国で同じ言語を利用している同じ国で複数の言語を利用するロケールに関連する環境変数ロケール名 LC_COLLATE LC_CTYPE 文字列のソート順扱う文字の種類 ( 大文字小文字の区別など ) LC_MESSAGE 表示されるメッセージ LC_MONETARY 通貨書式 LC_NUMERIC 数値書式 ( 区切り書式など ) LC_TYME 時刻と日付の書式 LC_ALL, LANG すべての環境変数 en fr it ja ko ru zh < 言語コード >_< カントリーコード >.< 文字コード > 言語コード英語フランス語イタリア語日本語韓国語ロシア語中国語 ( 例 :LC_ALL=ja_JP.eucJP) US FR IT JP KR RU CN カントリーコードアメリカフランスイタリア日本韓国ロシア中国文字コード ja_jp.euc ja_jp.utf-8 ja_jp.sjis ja_jp.iso_2022_jp ja_jp (=ja_jp.euc) 1

地域化国際化と多言語化地域化 localization (L10n) 例 : 英語ソフトを日本語化する国際化 internationalization (i18n) ソフトウェアから言語異存部分を分離する Windows OS のロケール (LCID) OS のロケール言語バージョンにより決定システムのロケールコントロールパネルの地域オプション

26 地域化国際化と多言語化地域化 localization (L10n) 例 : 英語ソフトを日本語化する国際化 internationalization (i18n) ソフトウェアから言語異存部分を分離する Windows OS のロケール (LCID) OS のロケール言語バージョンにより決定システムのロケールコントロールパネルの地域オプション複数言語をインストールすれば多言語化が可能国際化に基づく地域化多言語化 multilingualization (m17n) 複数の言語を同時に扱う文字集合 (1) ASCII 7ビット(128 種 ) の文字集合アルファベット数字記号制御文字文字用 :94+ 制御用 :34( 改行スペースなど ) ISO ビット拡張 ASCII(+128 種 ) ~ の 16 のバリエーション (Latin-1) が頻用 ( 西ヨーロッパ言語 ) 文字集合 (2) JIS X 0201: 年に策定された ISO 8859 の日本版 8 ビット拡張分に半角カナ ASCII 非互換あり ( バックスラッシュとオーバーライン ) JIS X 0208: 年に策定された全角ひらカタ漢字を扱うための文字集合 94 の区と 94 の点の組み合わせ JIS X 0212:1990 補助漢字を追加 (6,067 文字 ) JIS X 0208 とセットで用いる ( 単体利用不可 ) 文字集合 (3) JIS 文字集合の包含関係 JIS X 0213: 年に策定いわゆる JIS 第 3 第 4 水準を追加区と点 + 面 1 面 :JIS X 文字を追加 ( 第 3 水準 ) 2 面 :2400 文字を追加 ( 第 4 水準 ) JIS X :2001 ISO/IEC10646(UNICODE) の翻訳 JIS X (ISO/IEC , UCS) ( 漢字 70,195 文字以上 ) JIS X 0212 JIS X 0208 (5,801 文字 ) (6,349 文字 ) JIS X 0213(10,703 文字 ) より改変 2

文字エンコーディング ASCII 文字集合との互換性を保つ代表的な文字エンコーディング ISO-2022-JP (JIS)EUC-JP Shift JIS Codepage 932 SJIS の拡張 :NEC 特殊文字 IBM 拡張文字などを含む UNICODE/ISO 10646 文字集合 Universal Multiple-Octet Coded Character Set UCS-4

27 文字エンコーディング ASCII 文字集合との互換性を保つ代表的な文字エンコーディング ISO-2022-JP (JIS)EUC-JP Shift JIS Codepage 932 SJIS の拡張 :NEC 特殊文字 IBM 拡張文字などを含む UNICODE/ISO 文字集合 Universal Multiple-Octet Coded Character Set UCS-4 32bit ( 群 + 面 + 区 + 点各 8bit) UCS-2 16bit (UCS4 の 00 群 00 面 =BMP のみ ) 文字エンコーディング UCS Transformation Format UTF-8 可変長マルチバイト (ASCII 互換 ) Plan9 で UCS を利用するために Ken Thompson が考案 UTF ビット固定 (ASCII 非互換 ) UTF-7,UTF-32 UNICODE の文字集合 UCS-4 00 群 00 面 (Plane0) 基本多言語面 Basic Multilingual Plane(BMP) 00 群 01 面 (Plane1) 補助多言語面 (BMPに入っていない補助的文字) 00 群 02 面 (Plane2) 補助漢字面 (BMPに入っていない漢字) UTF-8 のマルチバイト処理 UCS-4 UTF-8 1バイト目 2バイト目 3バイト目 4バイト目 F 0xxxxxxx FF 110xxxxx 10xxxxxx FFFF 1110xxxx 10xxxxxx 10xxxxxx FFFF 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx 任意のバイトの最上位ビットが1であれば非 ASCII Surrogate Pair UTF-16でBMP 以外を表現する方法 UTF-16をペアで使う (32bit) BMPの予約領域 U+D800~DFFFを用いる high surrogate U+D800~DBFF low surrogate U+DC00~DFFF (hs-0xd800) x (ls-0xdc00) + 0x10000 UTF-8 も UTF-16 もマルチバイトで UNICODE は 16bit 固定長ではないことに注意 JIS 文字コードとOSの関係 OS 名 Windows Me Windows XP MacOS MacOS X 主な符号化方法シフトJIS UCS-2(*) UTF-16 (**) シフトJIS(***) UTF-16 (**) JIS X 0208 JIS X JIS X 0208 JIS X JIS X 0208 JIS X 基本フォントの文字集合 JIS X α * Windows Meでは文字の描画など一部でUnicode(JIS X 0221) を採用している UCS-2は全体のうち約 65,000 文字だけ扱える方式 ** UTF-16はJIS X 0221の符号化方法で約 150 万文字を取り扱い可能これはすべてのJIS 文字コードをふくむので原理的にはJISに収録されたすべての文字が取り扱い可能 *** シフトJISはJISの漢字としてはJIS X 0208だけしか扱えない 3

異体字と包摂異体字同等 ( 起源が同じ ) の文字だが違う字形をもつもの略字正字俗字古字本字など手書きによるバリエーション : 草かんむりの 3 画と 4 画略字 : 國と国しんにょうの 1 点と 2 点俗字 : 間違った書き方が定着した形は異なっても由来が同じ字 : 坂と阪弌と一似ていても由来が異なる文字 : 士と土文字とグリフの間にある概念地域

UNICODE3.0 Plane14 に言語タグ異体字タグ異体字検索別コードを振った異体字は文字コードレベルでは区別される標準化された異体字辞書の必要性 http://www.unicode.org/charts/ 参考 1. 日本語環境は4つのポイントで制覇せよ UNIX USER vol.14, No.4, 2005. 2. 文字の海ビットの舟 http://internet.

28 異体字と包摂異体字同等 ( 起源が同じ ) の文字だが違う字形をもつもの略字正字俗字古字本字など手書きによるバリエーション : 草かんむりの 3 画と 4 画略字 : 國と国しんにょうの 1 点と 2 点俗字 : 間違った書き方が定着した形は異なっても由来が同じ字 : 坂と阪弌と一似ていても由来が異なる文字 : 士と土文字とグリフの間にある概念地域文化や歴史に依存するあいまいな概念包摂形の異なる文字を同じ文字と定義すること JIS では同じコードポイントを振るという意味で使っている UNICODE での異体字の扱い原則として同じコードポイントを与える (JISも基本的には同じ考え方をとる) CJK( 中日韓統一コード ) 字形が似ているものは共通のコードポイントラウンドトリップ変換の互換性日本で別字中国で包摂の場合は分離 UNICODE3.0 Plane14 に言語タグ異体字タグ異体字検索別コードを振った異体字は文字コードレベルでは区別される標準化された異体字辞書の必要性参考 1. 日本語環境は4つのポイントで制覇せよ UNIX USER vol.14, No.4, 文字の海ビットの舟 3. 日本語フォントや文字コードについて 4. 文字コード問題を考える 5. 異体字の迷宮 6. はいぱーワークブック 4

文字コード略歴よこやままさふみ社内勉強会 2012/05/18 文字コード略歴 Powered by Rabbit 2.0.6

文字コード略歴よこやままさふみ社内勉強会 2012/05/18 文字コード略歴 Powered by Rabbit 2.0.6 文字コード略歴よこやままさふみ社内勉強会 2012/05/18 自己紹介横山昌史入社 4 年目プログラマ etc... 所属プロジェクト Java UNIX 雑用 etc... 文字コードの " るつぼ " Rabbit についてプレゼンテーションツール実装 : Ruby/GTK 動作 : UNIX/Win/Mac 文章とデザインの分離バージョン管理しやすい文字コードとは文字をコンピュータで扱うための符号化方式