わんくま同盟大阪勉強会 #1

Size: px

Start display at page:

Download "わんくま同盟大阪勉強会 #1"

さあしゃさくもと
5 years ago
Views:

1 ありうべき日本語処理とは by 中博俊

2 我々が普段利用している日本語無意識のうちに日本語処理を行っていませんか? 日本人が日本語を使う上で自然体に利用できる情報処理が求められています

3 残念ながら私は日本語学者ではなくDeveloperです記述の中には日本語の歴史などで誤りがあるかもしれませんがその節はご容赦ください

4 キーワードについて言語処理についてのキーワードはいろいろあります 1つ1つおさらいしましょう

5 キーワードについて文字セット (Character Sets) 字体を定義した文字の集合 ASCII, JIS, Unicode JIS(n 面 m 区 o 点 ) 区点コードなどとも Unicode など (U+0000 などと表現 ) エンコード (Encode) ある文字セットなどに番号を振り実際に取り扱う形式のこと ShiftJIS, EUC, UTF-8, UTF-16 ShiftJIS には JIS にない漢字が含まれているある意味文字セットでもある

6 キーワードについて字体 (Character) 概念的なものとなどを区別しない字形 (Glyph) 文字通り字の形前述の違いを区別する書体 (Style) 薔薇 ( メイリオ ) 薔薇 (MSP 明朝 )

7 キーワードについて包摂とは違う字だけれど見る人はその字の違いに有意差を見出さない関係 JIS でも包摂関係の設定はそこそこある両者は包摂関係にある両者の字体は同一コード化した場合も同一 (JIS コード )

8 ASCII(1963) JISX0201(1969) 文字に関する JIS 標準ラテン文字と半角カタカナ JISX0208(1978( 旧 JIS), 1983( 新 JIS)) 第 1 水準, 第 2 水準 JISX0212(1990) 補助漢字 JISX0213(2000) 第 3 水準, 第 4 水準

9 ASCII と JIS の非互換 ASCII は文字集合です JIS も文字集合です両者は同一または包含関係のように思われますが文字集合としての互換性はありません YEN SIGN OVER LINE

10 ASCII(1963) JISX0201(1969) 文字に関する JIS 標準初版制定年度から考えても日本語がカタカナだけとはいえ出るだけで大きな前進通貨記号がないと実質的に利用できないためと \ の違いはどうでもよかったと思われる

11 今回の Vista 問題は一体何の問題? 字形が変わる字が増える結合文字の正式対応

12 字形が変わるいままでも散々変わっています

13 字形が変わる (JISX0208 の変遷 )

14 字形が変わる今回の変更は 2000 年の国語審議会の審議がベースになっていますこの 2000 年の国語審議会の答申のポイントは 3 つ表外漢字字体表今回の範囲国際社会に対応する日本語の在り方 Hirotoshi, Naka と書くか NAKA Hirotoshi と書くか等現在社会における敬意表現敬語についてなどこの後文化審議会国語分科会 ( 国語審議会の現在の継承機関 ) 敬語小委員会で 5 種類に分けるなどが最近の話題

15 印刷標準字体表外漢字字体表についてのポイント字体の中で標準とする字形は常用漢字を除き康熙字典に原点を見出すこと 3 部首許容しんにゅうしめすへんしょくへんは昔より下の形を印刷で使ってきたから特別に許す

16 そもそも康煕 ( 熙 ) 字典ってなによ? 1716 年に中国で作られた最も完成された初めての漢字の事典

17 そもそも康煕 ( 熙 ) 字典ってなによ? 1716 年に中国で作られた最も完成された初めての漢字の事典

18 常用 ( 当用 ) 漢字 vs 表外漢字現在の常用漢字は 1946( 昭和二十一年 )/1/16 に吉田茂首相の名前で出されたものが最初 ( 当用漢字表 ) 1949( 昭和二十四年 )/4/28 に字体の変更などが大掛かりに行われた澁谷區渋谷区と変更されたのは戦後の漢字行政の決定による區は区とされたにもかかわらず森鴎外の鴎の字は鷗に戻る

19 常用漢字常用漢字自体は今後定期的に改定しようとしている新常用漢字表を平成十九年度の文化審議会で策定するような方向常用漢字表に表外漢字から採用されると代表字形も変わるかもしれない

20 異体字をどうするの? 澀 (U+6F80, JIS213:1-63-8) 澁 (U+6F81, JIS213:1-63-7) 渋 (U+6E0B,JIS213: ) 区 (U+533A, JIS213: ) 區 (U+5340, JIS213: )

21 異体字をどうするの?.NET System.String PS C: Users localnaka> " 渋 " -eq " 澀 " False PS C: Users localnaka> " 渋 " -eq " 澁 " False.NET System.Data.SqlTypes.SqlString $a = New-Object Data.SqlTypes.SqlString " 渋 " $b = New-Object Data.SqlTypes.SqlString " 澀 " $a -eq $b SQL Server 2005 table( col nvarchar(100)) insert values(' 渋 ') insert values(' 澁 ') insert values(' 澀 ') select * where [col] collate Japanese_90_CI_AI = ' 渋 '

異体字をどうするの?.NET System.String PS C: Users localnaka> " 渋 " -eq " 澀 " False PS C: Users localnaka> " 渋 " -eq " 澁 " False.NET System.Data.SqlTypes.SqlString $a = New-Object Data.SqlTypes.SqlString " 渋 " $b = New-Object Data.

22 異体字をどうするの?.NET System.String PS C: Users localnaka> " 渋 " -eq " 澀 " False PS C: Users localnaka> " 渋 " -eq " 澁 " False.NET System.Data.SqlTypes.SqlString $a = New-Object Data.SqlTypes.SqlString " 渋 " $b = New-Object Data.SqlTypes.SqlString " 澀 " $a -eq $b SQL Server 2005 table( col nvarchar(100)) insert values(' 渋 ') insert values(' 澁 ') insert values(' 澀 ') select * where [col] collate Japanese_90_CI_AI = ' 渋 '

23 今回の Vista 問題は一体何の問題? 字形が変わる字が増える結合文字の正式対応

24 今回の Vista 問題は一体何の問題? Unicode 対応してないの?

25 今回の Vista 問題は一体何の問題? 字形が変わる字が増える結合文字の正式対応

26 Unicode 結合文字をどうするのサロゲートペアのことではありませんがという文字は U+304C で定義しているが U+304B, U+3099 も同様とみなすという意味 Windows Vista から正式に対応

27 Unicode 結合文字をどうするの.NET System.String1( ただの Equal) string a = " が ; string b = " が "; MessageBox.Show((a + "==" + b +"=" + (a == b).tostring()).tostring());.net System.String1( カルチャ依存 ) MessageBox.Show((a + "==" + b + "=" + (string.equals( a, b, StringComparison.CurrentCulture)).ToString()).ToString());.NET System.Data.SqlTypes.SqlString System.Data.SqlTypes.SqlString a = new System.Data.SqlTypes.SqlString(" が ); System.Data.SqlTypes.SqlString b = new System.Data.SqlTypes.SqlString(" が "); MessageBox.Show((a + "==" + b +"=" + (a == b).tostring()).tostring()); SQL Server 2005 table(col nvarchar(100)) insert values(nchar(12363) + nchar(12441)) insert values(' が ') select * where [col] = ' が '

Unicode 結合文字をどうするの.NET System.String1( ただの Equal) string a = " が ; string b = " が "; MessageBox.Show((a + "==" + b +"=" + (a == b).tostring()).tostring());.net System.String1( カルチャ依存 ) MessageBox.

28 Unicode 結合文字をどうするの.NET System.String1( ただの Equal) string a = " が ; string b = " が "; MessageBox.Show((a + "==" + b +"=" + (a == b).tostring()).tostring());.net System.String1( カルチャ依存 ) MessageBox.Show((a + "==" + b + "=" + (string.equals( a, b, StringComparison.CurrentCulture)).ToString()).ToString());.NET System.Data.SqlTypes.SqlString System.Data.SqlTypes.SqlString a = new System.Data.SqlTypes.SqlString(" が ); System.Data.SqlTypes.SqlString b = new System.Data.SqlTypes.SqlString(" が "); MessageBox.Show((a + "==" + b +"=" + (a == b).tostring()).tostring()); SQL Server 2005 table(col nvarchar(100)) insert values(nchar(12363) + nchar(12441)) insert values(' が ') select * where [col] = ' が '

30 繰り返し文字をどうするのくりかへし符号の使ひ方をどり字法 ( 案 )

31 繰り返し文字をどうするのくりかへし符号の使ひ方をどり字法 ( 案 )

32 どうするの? 正假名 vs 現代仮名言う = 言ふ文語体 vs 口語体てふてふ = ちょうちょう

33 どうするの? 送りがなのゆれ味わう = 味う国語表記の基準例外 3 で前者を正としている当て字の違い変える換える替える Changeる Exchangeる Replaceる

34 どうするの? 半角 vs 全角 1=1 半角と全角という歴史からすべて (?) の文字に全角版が存在する英文スペルの同一字形 Ꭰ(U+13A0チェロキー) А(U+0410キリル)

35 完全なユニバーサルフォントないし

36 今昔文字鏡過去に一度でも出現した文字を分けて登録する方針字形主義登録されていない漢字は?

37 あたらしい漢字政策が取られたら? 日本韓国北朝鮮中国 ( 香港 ) 台湾ベトナムあたりが現在の漢字ユーザ国の施策で漢字の省略を奨励したらどうするの? 字体は同じだけど字形が大きく変わるその字形は別の国で使っている変更できない国別主義で解決できるのか? 同一字形の別コードはフィッシングを生む

40 参考文献など Michel Caplan(International Fundamentals team ) JIS X 0213:2004 対応と新日本語フォントメイリオについて mspx 国語審議会青空文庫 ( 当用漢字表など ) 言葉言葉言葉 Unicode 表国語表記の基準

41 IME2007 の文字コード表は秀逸文字コード表に親しもう Windows の文字コード表追加面に対応してないけど文字名が出るのでちょっと便利

文字コード略歴よこやままさふみ社内勉強会 2012/05/18 文字コード略歴 Powered by Rabbit 2.0.6

文字コード略歴よこやままさふみ社内勉強会 2012/05/18 文字コード略歴 Powered by Rabbit 2.0.6 文字コード略歴よこやままさふみ社内勉強会 2012/05/18 自己紹介横山昌史入社 4 年目プログラマ etc... 所属プロジェクト Java UNIX 雑用 etc... 文字コードの " るつぼ " Rabbit についてプレゼンテーションツール実装 : Ruby/GTK 動作 : UNIX/Win/Mac 文章とデザインの分離バージョン管理しやすい文字コードとは文字をコンピュータで扱うための符号化方式

わんくま同盟 大阪勉強会 #1

わんくま同盟大阪勉強会 #1