2. 情報の内部表現の基礎 (1) 文字コードと 2 進数 Internal representation (1) Character code and Binary numbers, コンピュータは記号を扱う機械であり, 様々な 事 や モノ を記号として表現する * これらの記号 (symbol

Transcription

1 . 情報の内部表現の基礎 () 文字コードと 進数 Internal representation () Character code and Binary numbers, コンピュータは記号を扱う機械であり, 様々な 事 や モノ を記号として表現する * これらの記号 (symbol) は, コンピュータ内部で 値の記号 ビット の組合せ ( ビット列 ) で表現される はじめに, 文字をビット列で表す文字コードについて学ぶ 次に, ビット列を規則的に並べて文字と対応させたり, 数値を表したりする場合の基本となる, 進数の考えについて復習する *) シャノンによれば, 記号とは 情報を運ぶもの (Carriers of information) である. (Claude E. Shannon, " A Mathematical Theory of Communication ", Bell System Technical Jounal,98) 記号の表現世の中には様々な記号がある. これらの記号は, 人間の頭の中にあるイメージを表したり, 情報を伝達, 加工, 蓄積したりするために使われる. パーソナルコンピュータの画面などで見る アイコン, 文字, 数式, 数学的モデル, 図, 音声による音圧変動や地震による揺れを記録した信号波形, などは記号としてコンピュータの内部で扱われ表示される. コンピュータの働きの媒体 : 記号コンピュータは 様々な 事 や モノ を記号の集まり ( データ ) として扱う コンピュータが扱えるデータは 文字 言葉 数値 画像 音声 と多岐に渡っている これらの記号やデータは ( 良く知られているように ) コンピュータ内部では 値の記号の組み合わせとして表現される 仮にこの つの記号を と で表してみよう 例を挙げると 太郎 : 花子 : ポチ : ここで 値記号の組み合わせは 実際の太郎や花子の肉体的構造などとは何の対応関係も無いことに注意対象と 値記号の対応関係は前もって約束しておく必要がある : : : という数値を表しても良いのである このようなコンピュータ内部の記号を ビット (bit) と呼び, 今後は と ではなく "" と "" という つの値で表すことにする コンピュータ内部では, 様々な記号や数値を複数のビットを並べたもの ( ビット列, ビットパターン ) で表現している 8 つのビットを つの単位として扱い, バイト (byte) と呼ぶ基本的な記号である文字や数値がどのようにビットパターンとして表現されるかについては 年次の 計算機基礎 で詳しく学ぶ 内部表現では, 表すものが文字なのか数値なのか決めておき, その中で異なる記号に異なる内部表現を対応させる 文字や数値のような良く使われる記号では, 効率や処理のしやすさを考慮して標準的な内部表現が定まっている その基本となるのが 進数 である アイコン (icon), ビット (bit, binary digit あるいは binary unit), バイト (byte), 進数 (binary number), 進法 (binary numerical system), ビット列 (bit sequence), ビットパターン (bit pattern) 情報科学と社会講義資料 -

2 文字や数値数値などのなどの基本的基本的なデータデータは効率 処理処理のしやすさをのしやすさを考えて機種間で共通共通になるようにになるように標準化標準化してある 文字の内部表現 : 文字コード 文字コードの実例 文字をビット列に対応づけたもの ASCII コード JIS8 単位コード 3 JIS 漢字コード ASCII(American Standard Code for Information Interchange) ISO( 国際標準化機構 ) で規格が定められている. 数字,,,...,9( 種 ) アルファベット a,b,..,z,a,b,.,z (6 =5 種 ) 特殊記号!,,#,+,,...(3 種 ) 非印字文字 ( 制御コード )(3 種 ) 7 bitのパターンを対応させる 8 種 *: 実際のコンピュータでは 8 ビットで 文字を表す これは, コンピュータの内部では 値のビットの組合せを用いるので, n 個のビットを単位とすると, いろいろと都合がよいからと考えられる その他,EBCDIC(Extended Binary Coded Interchange Code) と呼ばれる文字コードも,IBM 社製のコンピュータで使われた JIS 8 単位コード (JIS X ) ASCII を拡張 8ビットを使いカタカナも表現, 半角文字 表 - にJIS 8 単位コード表を示す. 3JIS 漢字コード Byte で漢字 ひらがな 文字を表す. 文字の内部表現 (internal representation of characters), 文字コード (character code) ASCII(American Standard Code for Information Interchange), ISO(International Organization for Standardization), JIS(Japanese Industrial Standards) 情報科学と社会講義資料 -

3 表 - JIS コード表最上位ビットを とした符号にカタカナなどを割り振っている 未定義部分にグラフィックパターンを割り振って使うメーカもある NUL, SOH など複数文字は制御コードを表す b8 b7 b6 b5 b b3 b b 列行 A B C D E F NUL SOH STX ETX EOT A B C D E F HT EM LF VT FF CR SO DC DC3 ENQ NAK ACK BEL ETB BS DLE DC DC SYN CAN SUB ESC FS GS RS SI US SP! " # $ % &, -. / ( 8 ) 9 * : + ; < > A B C D E F G H I J K M L N O P Q R S T U V W X Y Z [ \ ] ^ _ a b c d e f g h i j k m l n o p q r s t u v w x y z { } ~ 未定義 未定義 未義定 ゥェ ォ ッ ー イ ケコ サ ソ タ ツ ノハ ヒ マ ミ アチム メ ウテ モ エト ヤ ヲ オナカニ ユヨ ァィ キク ヌネ ラリ ル レロ ャ シフ ワ ュョ スセ ヘホ ン 未定義 未定義 * データ量の感覚的な理解アルファベット 数字 文字で バイト漢字ひらがな 文字で バイト 字詰原稿用紙 枚で = 8 バイト k バイト * 注意 文字コード とその文字を印刷 表示するために必要なデータは別のもの A の文字コード は A という文字の形を表してはいない 字体 ( フォント ) の情報が別に必要 応用問題 [6] 以下の 進数を 6 進数に,6 進数を 進数に, 直接変換せよ 57 A8 情報科学と社会講義資料 -3

4 進数の考え方 進数 (decimal number) では : 9 = + 9 = 進数 (binary number) では : = = = 9 進数の n 桁目は n 進数の m 桁目は m 3 進 / 進対応表 進数 進数 進数を並べてみよう 進数と 進数の対応関係を確認するため, 進数をから順番に並べる演習をやてみよう 演習問題 []~5までの 進数を 進数で表せ ( 左の対応表の空欄を埋めよ ) 進数 進数の変換これは簡単 しかし, 回は演習をやっておくとよい ( 結構, 間違う人がいるから ) 演習問題 [] 以下の 進数を 進数に変換せよ 3 進 進の変換例えば次のような方法がある. 商 余り 9 =... = = =... =... 値を で割っていく. 商が となったところで, 余りを出た順の逆に並べると 進数表現が得られる. この方法, 特に公式の呼び名は無いようだが, この講義では 除算シフト法 (shift by division method) と呼ぶことにしよう. 進数 (decimal number) 情報科学と社会講義資料 -

5 考え方 数値を 進数で表して考える.での除算は 進数を右に 桁シフトする操作に対応する. 除算される数 のの位の値が余りの数になる. したがってで除算するたびに右端の値が余りの値として現れることにな る. 先の例の場合, =... =... =... =... =... となる. この変換により得られるビット列は, 符号なし整数 (unsigned integer) つまり より大きな正の整数の内部 表現として使われる. 演習問題 [3] 以下の 進数を 進数に変換せよ 筆算による 進 / 進変換の別法 ( 逐次比較法, successive approximation * ) n より小さかったらそのまま, 大きかったら n を引く という操作を繰り返す ( 以下は7 を 進変換する例 ) 逐次比較型 AD 変換器と同じ方法,,, という欄を作る >6 なので を立て,6 を引く 小さい場合は を立て, そのまま, と いう操作を繰り返す上の桁から求められていく * これも, この講義だけの命名 筆算のやり方は, もっと巧い方法があるかもしれない * 進 / 進変換の別法 分解法 (powers of two decomposition)( n を暗記している人向け ) 89 = = = *: これも, 正式名称ではない n successive approximation は直訳すると 逐次的近似 8 進数,6 進数 進数は桁数が大きくなりすぎる. 例えば, 今のパソコンは3 桁,6 桁といた桁数の 進数データを扱う ところが人間が, 読んだり書いたり覚えたりできるのは, せいぜい8 桁程度までなのだ * そこで bitをまとめて から9までの 個の数字とAからF までのアルファベット併せて6 種類の文字 つで表現するのが6 進数である. こうすれば, 9DA 6 のように人間にとって扱いやすいものとなる. *: 人間が一度に扱えるものごとの数は 6~8 で, それは人間の短期記憶の容量と関係している, という説 ( Magical Number Seven 説 ) がある (George Miller : The Magical Number Seven, Plus or Minus Two : Some Limits on Our Capacity for Processing Information, The Psychology of Communication, New York : Basic Books, 967 ) この論文がゼロックスのパロ アルト研究所 (PARC) の研究者によって発表されたのは 95 年代であった 6 進表記は人間人間のためのもの 表 - 進 / 進 /6 進対応表 進 進 6 進 A B C 3 D E 5 F 8 進数 (octal number),6 進数 (hexadecimal number) 情報科学と社会講義資料 -5

6 一方,3ビットずつ区切って~7の8 文字で表すのが,8 進数による表記だ 変換が簡単なのだが, 進数はのべき乗 (powers of two) と相性がよいので,(= ) ビットずつ区切る6 進表記の方がよく使われているようだ 6 進数と 進数の相互の変換は, 非常に簡単である だから, 手計算による6 進 / 進の変換は 進数を介して行っても良い ( 進 進 6 進,6 進 進 進 ) 桁数が多い場合は, 下の例のようにして直接計算することもできる A 6 6 B 最上位桁 A の 進数値 をたてる 6 を乗じる 第 桁 B の 進数値 を加える 6 を乗じる 第 3 桁 の 進数値 を加える これが AB の 進変換値! 演習問題 [3] 以下の 進数を6 進数に変換せよ 演習問題 [] 以下の6 進数を 進数に変換せよ A3C EF 応用問題 [5] 以下の 進数を6 進数に,6 進数を 進数に, 直接変換せよ 57 A = 6 進数 進の直接計算の例 進数 6 進の直接計算の例 情報科学と社会講義資料 -6

7 質問 意見 ( 抜粋 ) と回答例 (Q: 質問,C: 意見,R: 要求,A: 回答 ) Q: なぜコンピュータは 進数を用いるのか? 進数の方がわかりやすいのに ( 同様の質問, 非常に多数 ) A: ビットは または という つの値を取る記号ですが, このような 値記号は, スイッチの ON/OFF, 電圧の高い, 低い, という つの状態で表すことができるため, 扱うための回路が簡単になり, 動作の信頼性も高くできます C: 進数と 進数の相互変換が, 全くわからなかった (3 名ほど ) 進数は初めて聞いたが, 説明を聞いてわかった ( 複数名 )3 除算シフト法でなぜ変換できるか, わからなかった ( これは, 結構多い ) A: 来週, もう一度説明します 全くわからなかった というコメントは,3 年近くの経験で初めてです これは手ごわい相手 ということなので, 気合入れて講義の準備をします C: 逐次比較法 の方が, わかりやすかった 逐次比較法 の方を先に教えるべき 3 進 / 進変換の方法が多すぎて混乱する A:, 除算シフト法 は, 教科書でよく見かける方法だったので紹介しましたが, 割り算を使うので, 人が速く計算するのには向いていません 3 逐次比較法 や, n 分解法 は, 教科書に載っていたものではなく, 筆算の方法の例として考えてみました どれでも好きなのを使ってみてください なお, これらの筆算による変換法は, 実用性は無いかもしれませんが, 進数の意味や変換のアルゴリズムを理解するのに向いています Q: アウトラインフォントは, どれくらいの容量があるのか? A: 英語の表記によく使う Times New Roman は k バイト, 漢字ひらがなに使っている ( このテキストのフォント )MS 明朝は 9.8M バイトです Q: ビットパターンの説明で,MSB は b7,lsb は b と説明していたが,-3 のコード表では b8~b となっていたのはなぜか? A:ASCII の規格書では b 8 ~b と, 右端をビット としていたようです このため, 参考にした表がそれに従っていました このように, 順番を表す数字の始まりを にするか にするかという つの流儀が混在していることがあります C: 進数, 進数の話は今まで聞いたことがなかったが, 何とか理解した 初めての人もいるのに, 全員わかってる体で話されても困る もう少し補足を付けてほしい 初めて聞いた話だったが, 丁寧な説明なので理解できた A: 申し訳なかったです もちろん, 全員わかってるなどと考えてはいません こちらのコメントの方が多かったのですが, 油断は禁物です C: 進数など高校でやらなかったので, 詳しく丁寧にやってほしかった A: 欲しかった と過去形で言わないでください まだ説明は終わっていないので 昨年度, 米沢キャンパスでやった講義に, 高校生が参加していました 普通高校の生徒で, 初めて聞いたが非常にわかりやすかった, という感想で, 実際, 試験も受けてもらったところ満点に近い点数でした わからないわからない というという情報情報は, 教えるえる側にとってはにとっては非常非常に重要重要ですです 遠慮しないで意見に書いてもらえると助かります できれば, 具体的に, どの部分がどのようにわからなかったか書いてもらいたいです Q:ASCII コードは 8 種類の文字を表せるが,8 = 7 となっているのは, わざとそのように仕組んだのでしょうか それとも, ただの偶然でしょうか? ( 同様の質問が数名 ) A: 7 におさまるように, 文字種を決定したと考えるのが自然です 英語圏の場合は,8 種の文字で十分だったため,7 ビットコードになったのでしょう Q:ASCII コードは 7 ビットなのに, なぜコンピュータで扱うときは,8 ビットで 文字を扱うのか? ( 同様の質問が数名 ) その場合, 使わないビットは と のどちらに統一されているのでしょうか? A: 先の回答のように, 英語では 8 種の文字でよいので 7 ビットにしました しかし, コンピュータ内部でビットを扱うとき, つ つばらばらに扱うのではなく, 幾つかのビットをまとめた単位で扱う方が効率が良くなります この単位を 8 ビットとするのが一般的です なぜ 8= 3 としたかというと, コンピュータ内部では 進数を基本とするので, の冪 ( べき ) が都合がよいからでしょう 3 だと,8,,, と, になるまで つに等分していけます 普通は最上位ビットを使わないビットにすると思います コンピュータの基本プログラムの OS が, この部分を使っていることがある, というのを読んだことがあります (Very Good) Q:EBCDIC は何ビットですか? また, なぜ使われなくなったんですか? A:EBCDIC は 8 ビットコードです IBM 社が策定した文字コードで, できたのは 96 年のようです パソコンでは使われていませんが, 銀行などで使われる大型の メインフレーム と呼ばれるコンピュータでは文字コードとして使われているそうです JIS 漢字などの バイトコードとの混在が難しいという問題があります Q: よく, 容量が大きいデータを圧縮したりしますが, その原理は, どのようになっているのでしょうか? また, 圧縮したものは解凍しなければならないのですが, 圧縮したままでは使えないのですか? また, なぜ圧縮したまま使えるようにしないのですか? A: 例えば画像であれば, 画素 ( ピクセル ) といって, 色や明るさの情報を持つ要素の集まりとして表示されます しかし, デジカメなどで撮った画像では, 明るい画素の隣は, やはり明るいといった性質があり, これを考慮すると, 正味のデータの量は, 実際の表示に使っているデータより少なくなっています そこで, いろいろな方法で無駄を省くと, 少ないデータで同じ画像を現すことができます しかし, 表示するためには, また画素を縦横に並べたものに戻す必要があるので, 解凍が必要になります 圧縮したまま使えるようにならないか, ということですが, 表示を目的としない処理 ( 例えば音声認識など ) では, 可能かもしれません (Very Good) Q: と を組み合わせて文字などを表現し, 文字の形などは, また別のフォントデータを使って表す, ということですが, その文字を処理するプログラムも と を組み合わせて作っているのですか? もし, そうなら, どうやって区別しているのでしょうか? 情報科学と社会講義資料 -7

8 A: データそれ自体を見ても区別はできません やはり, プログラムで区別しています ここから先は文字, ここからは画素, ここはプログラム というように指示します (Very Good) Q: コンピュータではデータの容量を表すときの k,m,g などを を単位としてしているのはなぜですか?( 同様の質問多数 ) A: データのメモリ上の場所は, 番地 ( アドレス ) で指示します この番地も 進数なので,= のように のべき乗を単位にしておくと, ちょうど区切りの良いところでまとめることができるからです Q:JIS8 単位コードの未定義部分は, 将来も使われないのか?( 同様の質問複数 ) A: おそらく, ずっと未定義のままだろうと重い増す この未定義部分は, プリンタのメーカなどがプライベートな領域としてグラフィックスパターンという, 様々な模様を割り当てておいて, グラフや画像を表示するのに使った例があります Q: 非印字コードは何のために使うのでしょうか?( 同様の質問複数 ) A: 制御コードといって, 例えばブザーを鳴らしたり, プリンタ用紙の紙送りをしたりなど, の制御用に使います -3 の表の ~, ~ で NUL, SOH などと書かれているのが, 非印字コードです このページの下に, 制御コードの表を示します 昨年度までのまでの質問質問と回答回答より Q: ビットについて, よくわからないのですが, と をそれぞれビットと呼ぶのでしょうか?( つのうちどちらか つをビットと呼ぶのでしょうか?) A: ビットという記号は, または という値のどちらかを取ります 記号の 値 について説明が必要だったようです 例えばアルファベットは, 大文字と小文字を区別しなければ 6 種類の文字からなっていて, これを アルファベットは 6 値の記号である と言います ひらがな なら 5 値, アラビア数字なら ~9 までの 種類の記号を使いますから 値の記号 ということになります ビット というのは, アルファベット や ひらがな と同じ, 記号の名前 ということになります (Very Good, ただ わかりませんでした と書くより, このように質問してもらうと, 何が問題なのかわかります ) Q: バイト = 8 ビットのように, n のビットを 単位とするのが都合がよい, ということだったが, 具体的にどのように都合がよいのか? A: ビットパターンをさらに分割したとき, n だと, 同じ長さに分割できるからかな, と思いますが, 確認したわけではありませ なお, 複数ビットを一まとめで扱う場合, 必ずしも n にするわけではありません 組み込み用のPIC マイコンでは, 命令符号は ビットを 単位にしていました Q: 海外で使う言葉の中で, 使用する文字が多くてコード表に収まらないことはあるのか? ( 文字コードに関する質問多数 ) A:6 ビット使えば, つの国の文字体系でコード表に収まらないということは, ないと思います しかし, 全世界の文字を つのコードで表そうとすると,6 ビットでは足りません 中国, 日本, 台湾, ベトナム, シンガポールの漢字や, 古ハングル文字などを追加すると不足するそうです 全世界の文字を表せる規格として UNICODE があります Q: n 分解法のやり方が理解できなかった A: n 分解法 は, 基本的には 逐次比較法 と同じです 何回かお見せする機会があると思います ( 黒板を使っていたので, プロジェクタを使う方法を考えないといけない ) 5 = 以下の最大の n は8 = 以下の最大の n は6 C: 進 進の変換の際, 桁づつ区切って 進 / 進対応表の通りに変換し, その区切りに 6 のべき乗を掛けると計算が速くできると思いました ~5 の対応関係だけ覚えればよいので = 37 のように A: 素晴らしいです この方法では, n を覚えなくても済みます その分, 計算の手間が増えますが ( このように 計算 と 記憶 にはトレードオフの関係があります )(Perfect 何年何年ぶりかにぶりかに出しましたしました ) 進 6 進 文字 進 6 進 文字 x NUL(null 文字 ) 6 x DLE( データリンクエスケープ ) x SOH( ヘッダ開始 ) 7 x DC( 装置制御 ) x STX( テキスト開始 ) 8 x DC( 装置制御 ) 3 x3 ETX( テキスト終了 ) 9 x3 DC3( 装置制御 3) x EOT( 転送終了 ) x DC( 装置制御 ) 5 x5 ENQ( 照会 ) x5 NAK( 受信失敗 ) 6 x6 ACK( 受信 OK) x6 SYN( 同期 ) 7 x7 BEL( 警告 ) 3 x7 ETB( 転送ブロック終了 ) 8 x8 BS( 後退 ) x8 CAN( とりけし ) 9 x9 HT( 水平タブ ) 5 x9 EM( メディア終了 ) xa LF( 改行 ) 6 xa SUB( 置換 ) xb VT( 垂直タブ ) 7 xb ESC( エスケープ ) xc FF( 改頁 ) 8 xc FS( フォーム区切り ) 3 xd CR( 復帰 ) 9 xd GS( グループ区切り ) xe SO( シフトアウト ) 3 xe RS( レコード区切り ) 5 xf SI( シフトイン ) 3 xf US( ユニット区切り ) 3 x ( スペース ) 7 x7f DEL( 削除 ) 注 ) スペース ( 空白 ) は制御コードではなく文字として扱われる 情報科学と社会講義資料 -8