Microsoft PowerPoint os5.pptx

Transcription

1 Operating System 5 岩井将行 5/12 1

2 第 1 回 ハードウエアと OS CPUとデバイス 割り込み 記憶装置 ハードディスク装置 RAID パリティ スレッドとプロセス メモリアドレス空間 ファドイルシステム NIC ソケット カーネル 2

3 第 2 回 CUI タイピング, ログイン, コマンド操作, マニュアル, シェル ファイル操作, エディタ 3

4 第 3 回 プロセス, ジョブ プロセス管理 時分割処理とプロセス切り替え スケジューリング プロセス表 4

5 第 4 回 記憶装置 メモリ階層 キャッシュ アドレス空間 物理アドレスと論理アドレス ページング チェックポインティング 効率的な自動メモリ管理 GC フラッシュメモリ 5

6 第 5 回 シェルとアクセス権 標準入出力 フィルタコマンド シェルスクリプト ファイルのバックアップ アクセス権 ドライブ ディレクトリ ファイル open/read/write ファイルのメモリへのマッピング アクセス制御 権限 6

7 第 6 回 ネットワークとOS ethernet,ping,socket,tcp/udp,rpc,apach,http,s sh,ftp,remotewindow 最新のOS 事情 7

8 第 7 回 試験 8

9 前回の復習 9

10 2 回目のこり ハードウエアと OS CPUとデバイス 割り込み 記憶装置 ハードディスク装置 RAID パリティ スレッドとプロセス メモリアドレス空間 ファドイルシステム NIC ソケット カーネル 10

11 第 3 回 プロセス, ジョブ プロセス管理 時分割処理とプロセス切り替え スケジューリング プロセス表 11

12 プロセスの状態 実行可能なプロセス とは? プロセスの状態 yes 実行中? no 実行 yes CPU が空き次第実行できる? no 実行可能 待ち 12

13 プロセスの状態 実行状態 (running) プロセスを実行している状態 リソースは, そのプロセスのために確保されている 実行可能状態 (ready) 実行できるが CPU リソースが確保できていない状態 CPU リソースを確保した時点で実行開始される 待ち状態 (wait) CPU 以外のリソースも確保できていない状態 入力待ちなどもこれに含まれる 13

14 状態遷移 CPU 以外のリソースを獲得 or スーパバイザコール終了 実行可能 (ready) CPUリソースが割り当てられた ( 順番がまわってきた ) 割込み 待ち (wait) 実行 (running) スーパバイザコールスパバイザコル or CPU 以外のリソース喪失 14

15 オペレーティングシステム 第 4 回 メモリとメモリ管理 15

16 RAM(Random Access Memory) RAMは 通電中でもデータを読み書き可能で 電源を切ると記憶内容が失われる揮発性の半導体メモリー SRAM(Static RAM; スタティックラム ) DRAM(Dynamic RAM; ダイナミックラム ) 16

17 SRAM SRAMはフィリップフロップ回路で構成された利用した半導体メモリーでで DRAMはコンデンサーを利用した半導体メモリー フリップフロップ回路は 自己保持回路ともいわれる 論理回路で構成される コンデンサーは電気を蓄えておく部品のことである SRAM は フィリップフロップ回路で構成され DRAM はコンデンサーで構成されるということを覚えて欲しい 17

18 SRAM DRAM 論理回路ではなく コンデンサ ( キャパシタとも言われる ) の充電状態を使用した記憶方式 SRAM は DRAM と比較した場合 コンデンサの自然放電によるデータ消失を防ぐための定期的なリフレッシュ動作 ( 再書き込み ) を与える必要がない 記憶領域へのシンプルかつ高速なアクセスが可能である ただし 1bit あたりのトランジスタ数やその配線が DRAM と比べ複雑になるため bit あたりのコストは高くなる 比較的小容量であっても高速性が求められる揮発性 RAM 領域 (CPU のレジスタや キャッシュメモリ ) 18

19 DRAM Dynamic Random Access Memory リフレッシュ ( 記憶保持動作 ) を必要とするダイナミックメモリ キャパシタ ( コンデンサ ) に電荷を蓄えることにより情報を記憶し 電源供給が無くなると記憶情報も失われる揮発性メモリ 長期記録の用途には向かず 情報処理過程の一時的な作業記憶の用途に用いられる DDR3 SDRAM Double Data Rate3 Synchronous Dynamic Random Access Memory DDRでの同期クロックを4 倍に高めそれぞれの立ち上がりと立ち下り時にデータ入出力を確定するのでSDRに比べて8 倍のデータ転送速度となる 動作周波数は800MHz 1066MHz 1333MHzの3 種類 ノート向け S.O. DIMM(small outline dual in line memory module) so/ 19

20 DARM と SRAM 記憶容量 アクセス速度 リフレッシュ 価格用途回路 DRAM 大きい遅い必要安い主記憶コンデンサー キャッ SRAM 小さい 速い 不要 高い シュメモ リ フィリップフロップ 20

21 メモリ実効速度 実効速度 =( キャッシュメモリの速度 ヒット率 )+ ( 主記憶の速度 (1-ヒット率 )) ヒット率は CPUが必要とするデータがキャッシュメモリー上に存在する確率 NFP は CPUが必要とするデータがキャッシュメモリー上に存在しない確率である ヒット率 +NFP(not found probability)=1 21

22 メモリ実効速度問題 あるプロセッサが主記憶装置及びキャッシュメモリにアクセスするとき, それぞれのアクセス時間は60ナノ秒及び10ナノ秒である アクセスするデータがキャッシュメモリに存在する確率が 80% の場合, このプロセッサの平均アクセス時間は何ナノ秒か 10ns*0.8+60ns*(1 0.8)=8ns+12ns=20ns 22

23 メモリ管理 23

24 メモリ管理 メモリ マネージャ メモリのどの部分が使用中でどの部分がフリーか プロセスが要求するメモリを割り当て 使用後に解放 メインメモリとディスク間のスワッピングの管理 メモリ管理システム スワッピング ページングを使用しない方式 スワッピング ページングを使用する方式 24

25 スワッピング ページングなし ( マルチプログラミング ) 再配置 (relocation の問題 ) バイナリファイル 100 番地 0 番地 メモリに配置 100K 100K+100 番地 保護 (protection) の問題 0 ユーザ 2 のプログラム アクセス ユーザ 1 のプログラム 25

26 再配置と保護の問題の解決策 ベースレジスタとリミットレジスタを使用ジタを使 プログラムロード時にパーティションの先頭がベースレジスタへ パーティションの終わりがリミットレジスタへセットされるッ リミットレジスタベースレジスタ 300K 100K CALL K( ベースレジスタの値 ) に自動的に変換し かつ リミットレジスタもチェック 26

27 スワッピング 例 プロセス全体を一時的にディスクに退避 C C C C C B B B B E A A A D D D OS OS OS OS OS OS OS A がスワップアウト 時間 27

28 スワップ領域の割り当て スワップ領域 メインメモリに入りきらないものを退避させるための ディスク上の領域 スワップ領域割り当てのアルゴリズム メインメモリ管理と同様のアルゴリズム スワップアウトごとに割り当てる と異なるアルゴリズム プロセス生成時に割り当てる 28

29 仮想記憶 (Virtual Memory) プログラムサイズ > メインメモリサイズ オーバーレイ (overlay) というプログラム細分化 overlay0を最初に実行し 終了すると 次のoverlayを呼び出す 細分化するのはプログラマの仕事 仮想記憶の登場 プログラムサイズがメモリサイズを超えても構わないという点が発想の基本 29

30 ページング 仮想アドレス 仮想アドレス空間ド プログラムから見えるアドレスおよびアドレス空間 MMU( メモリ管理ユニット :Memory Management Unit) 仮想アドレスと物理メモリ アドレスとのマッピングを行うチップ 仮想アドレス CPU MMU メモリ ディスク コントローラ 物理アドレス バス 30

31 MMU の動作 ページとページ フレームのマップを示すページ表から物理アドレスを提供する 仮想アドレス ページ番号 プレゼント / アブセント ビット ( マップされているか否か ) オフセット 物理アドレス 31

32 ページフォールト (page fault) ページ フレームにマップされていないページをアクセスしようとすること CPU は OS にトラップをかける OS はあるアルゴリズムに従って選んだページ フレームをスワップアウト ( ディスクに退避 ) する ページ フォールトを起こしたページの内容を退避ジの内容を退避させたページ フレーム部にロードする 32

33 ページ表 (page table) 目的は 仮想ページをページ フレームにマッピングすること 問題点 ページ表が極端に大きくなる ページサイズ4K 32ビット アドレス空間の場合 100 万ページ ページ表はプロセスごとに保持 マッピングは高速である必要がある 1 命令に数回のメモリアクセスが必要な場合もある 改良案として マルチレベルページ表 33

34 ページ表エントリ ページ フレーム番号 プレゼント / アブセント保護修正参照キャッシング抑制 ページ フレーム番号 プレゼント / アブセント ビット 1: 物理メモリ上にある 0: 物理メモリ上にない 保護ビット 読み取り 書き込み 実行のアクセス権限を示す 修正ビット ページが編集されると 1 参照ビット ページが参照されると 1 キャッシング抑制ビット デバイス レジスタにマップされているページ用 34

35 ページ置換アルゴリズム ページフォルト発生時 OSは物理メモリから削除するページを選択しなければならない 削除するページが編集されていれば ディスクに書き戻す 最適ページ置換アルゴリズム もっとも次の参照までの時間が長いものを選択する 実現不可能 現実的かつ有用なアルゴリズムが必要 35

36 今LRU 後アク(未知スさに基づく考え方る確率)時間的局所性セれ時間的局所性 過去のアクセス間隔 ( 既知 ) アクセス確率の低いページを選びたい アクセス間隔の長いページを選べばよい LRU Least Recently Used 36

37 LRU アルゴリズム (1/3) LRU(Least Recent Used) 長い間使用されていないページは 今後も参照されない可能性が高い という考えに基づく ページフォルト発生時 最も長時間参照されていないものを選択 実現可能な方法は ハードウェア依存 ソフトウェアでは 近似解を使用 37

38 LRU アルゴリズム (2/3) 64 ビットのカウンタ C を利用 各命令後 インクリメントン ページ表のエントリにCを格納できるフィールドを用意 ページを参照した時点で 現在の C の値をそのページエントリに格納する ページエントリのカウンタの値が最小のものがLRUページ 38

39 LRU アルゴリズム (3/3) 行列を使用 n n (n: ページフレーム数 ) 例 ) 0123 の順番でアクセスされた場合 (4 4) C=0111 C=1011 C=1101 C=1110 行の 2 進数とみて 最小値の行の番号が LRU 39

40 第 5 回 シェルとアクセス権 標準入出力 フィルタコマンド シェルスクリプト ファイルのバックアップ アクセス権 ドライブ ディレクトリ ファイル open/read/write ファイルのメモリへのマッピング アクセス制御 権限 空き領域管理 40

41 復習 : スレッド プロセス切り替え コスト高 スレッド プロセスを分割 CPU リソースを割り当てる, さらに細かい単位 主記憶領域が同じのため, 切り替えコスト低 41

42 復習 : 割込み 割込み 通常の CPU 演算動作とは異なる事象 キーボード入力を受け取った 自動車がどこかに衝突した サーバからデータが送られてきた 割込み発生時にプロセスの切り替えが起こる TSSでは プロセス切り替えのためにインターバルタイマーが定期的に割込みを発生 42

43 復習 : 割込みの種類 内部割込み スーパバイザコール割込み プログラムチェック ( 例外 ) 割込み 外部割込み 入出力割込み タイマ割込み マシンチェック割込み リスタート割込み 43

44 スケジューリングの基本

45 復習 : プロセスの三状態 CPU 以外のリソースを獲得 or スーパバイザコール終了 実行可能 (ready) CPUリソースが割り当てられた ( 順番がまわってきた ) 割込み 待ち (wait) 実行 (running) スーパバイザコールスパバイザコル or CPU 以外のリソース喪失 45

46 プロセス CPU 以外のリソースを獲得 or スーパバイザコール終了 プロセスの状態遷移 待ち行列 CPUリソースが割り当てられた ( 順番がまわってきた ) 待ち 割込み CPU スーパバイザコールスパバイザコル or CPU 以外のリソース喪失 46

47 スケジューリング 実行プロセスの選択 CPUスケジューラが行う 対話型処理では, 数十 ~ 数百回 /s スケジューリングアルゴリズム 高速かつ軽量に行う必要 オーバヘッド削減のため 基本 待ち行列の先頭プロセスにCPUリソースを割り当て 全待ちプロセスの数に依存しない時間でスケジューリングが可能 47

48 プロセスの中断方式 実行プロセスの切り替えにはプロセスの中断が必要 復習 :CPU 状態 (PSWプロセッサステータスワード ) の PCB (Process Control Block, Task Control Block) への待避 中断方式 プリエンプション方式 OS がプロセスから実行権を剥奪 UNIX, WindowsXP, MacOS X ノンプリエンプション方式 プロセスが OS に実行権を自主的に返還 Windows 95, MacOS 9 プロセス暴走時にはシステム停止も 48

49 スケジューリングの目的

50 スケジューリングの目的 リソースを効率的に利用したい CPUリソースは時分割により仮想化 プロセス切り替えが多発 次に実行するプロセスを選択する機会も膨大 切り替えごとにコスト ( オーバヘッド ) が発生 スケジューリング次第で全体のオーバヘッドが増減 効率の悪いスケジューリング = 全体の性能低下 効率のよいスケジューリングが必要 50

51 応答時間 効率化の指標 ある依頼した処理に対して応答が返ってくるまでに要する時間 対話処理 : レスポンスタイム 端末から入力した命令に対しシステムから結果を受け取るまでの時間 バッチ処理 : ターンアラウンドタイム 投入したジョブに対しシステムから結果を受け取るまでの時間 スループット ある単位時間においてシステムが処理する仕事量 プロセス切り替えに必要となるオーバヘッド等は含まない ユーザにとって意義のある仕事をいかにこなせるか 51

52 効率化の指標 応答時間とスループットはトレードオフになる場合も 例 ) 応答時間向上を追求 対話型処理を優先的に TSSのクオンタムを短く 切り替え回数増加, 切り替えオーバヘッド増加 スループット低下 ユーザの要求やシステムの性質に応じて適切な指標 スケジューリングを用いることが重要 52

53 さまざまな スケジューリング方式

54 ターンアラウンドタイム とレスポンスタイム ターンアラウンドタイム データの入力の開始から データ出力が完全に終了するまでの時間のこと > レスポンスタイム 応答時間ともいう データ入力の終了から 出力が開始されるまでの時間のことである 54

55 さまざまなスケジューリング方式 FIFO (First In First Out) 到着順スケジューリング,FCFS SPTF (Shortest t Processing Time First) 処理時間順スケジューリング PS (Priority it Shdli Scheduling) 優先度順スケジューリング RR (Round Robin) ラウンドロビン MLF (Multi Level lfeedback) 多重フィードバック 55

56 さまざまなスケジューリング方式 FIFO (First In First Out) 到着順スケジューリング,FCFS SPTF (Shortest t Processing Time First) 処理時間順スケジューリング PS (Priority it Shdli Scheduling) 優先度順スケジューリング RR (Round Robin) ラウンドロビン MLF (Multi Level lfeedback) 多重フィードバック 56

57 FIFO 到着順スケジューリング FCFS: First Come First Served FIFO: First In First Out 常に待ち行列の先頭から処理 単純 プロセス選択機構も簡単になるし, 選択オーバヘッドも小 公平 追い抜き禁止 ターンアラウンドタイムは良くない 57

58 FIFO の欠点 ターンアラウンドタイム 待ち行列 プロセス 100s プロセス 1s プロセス 1s プロセス 1s 103s 3s 2s 1s レスポンスタイム 待ち行列 プロセス 1s プロセス 1s プロセス 1s プロセス 100s 103s 102s 101s 100s 58

59 スループット (throughput) 単位時間当たりに処理できる仕事量のことである 最近では ブロードバンドルーターの性能を表す指標としても用いられる 例えばブロードバンドルーターでで 90Mbps と表記されていれば1 秒間に90Mビット処理ができるということである もちろんこの数値が高いほうがブロードバンドルーターの性能は高い 59

60 さまざまなスケジューリング方式 FIFO (First In First Out) 到着順スケジューリング,FCFS SPTF (Shortest t Processing Time First) 処理時間順スケジューリング PS (Priority it Shdli Scheduling) 優先度順スケジューリング RR (Round Robin) ラウンドロビン MLF (Multi Level lfeedback) 多重フィードバック 60

61 SPTF FIFOの欠点は, 各プロセスの 重さ を考慮していないのが原因 処理時間順スケジューリング SPTF: Shortest Processing Time First 待ち行列内プロセスを処理時間順でソート 亜種 ; 残り処理時間順 (SRTF) 61

62 SPTF 処理時間の短いプロセスから順に処理処 応答時間最短 ; 理想的 実装不可能 各プロセスの処理時間を事前に知ることはできない 待ち行列 プロセス 50s 20s プロセス 5s 62

63 SPTF の実装手法 プロセスの処理時間を推定してスケジューリング 経験則 (heuristic) から近似的に処理時間を求める 対話型処理のプロセス処理時間度数処理時間 ほとんどのプロセスは短時間で終了 短時間で終了しないプロセスは, なかなか終了しない 63

64 さまざまなスケジューリング方式 FIFO (First In First Out) 到着順スケジューリング,FCFS SPTF (Shortest t Processing Time First) 処理時間順スケジューリング PS (Priority it Shdli Scheduling) 優先度順スケジューリング RR (Round Robin) ラウンドロビン MLF (Multi Level lfeedback) 多重フィードバック 64

65 PS 各プロセスに優先度を付加 静的優先度 : プロセス生成時に指定した優先度を使用 例 ) プロセスの種類ごとに優先度を規定 リアルタイムプロセス > OS > 対話型 > バッチ 動的優先度 : プロセス実行中に優先度を適宜変化 例 ) 既実行時間に応じて優先度を変化 入出力操作直後のプロセスの優先度を高く 優先度を適切に設定できれば非常に有効 高負荷時, 優先度の低いプロセスがなかなか実行権を獲得できない (starvation) 待ち時間に応じた優先度変化 (aging) などで対処 65

66 さまざまなスケジューリング方式 FIFO (First In First Out) 到着順スケジューリング,FCFS SPTF (Shortest t Processing Time First) 処理時間順スケジューリング PS (Priority it Shdli Scheduling) 優先度順スケジューリング RR (Round Robin) ラウンドロビン MLF (Multi Level lfeedback) 多重フィードバック 66

67 TSS で用いられる方式 RR 待ち行列 プロセス プロセス プロセス CPU プリエンプション 待ち行列から選択されたプロセスに, 微少な CPU 利用時間 ( クオンタム ) を割り当て クオンタム クオンタム 無限大 :RR = FIFO クオンタム = 極小 : 処理時間の短いプロセス有利 67

68 さまざまなスケジューリング方式 FIFO (First In First Out) 到着順スケジューリング,FCFS SPTF (Shortest t Processing Time First) 処理時間順スケジューリング PS (Priority it Shdli Scheduling) 優先度順スケジューリング RR (Round Robin) ラウンドロビン MLF (Multi Level lfeedback) 多重レベルフィードバック 68

69 MLF Multi Level Feedback 高 優先度別に待ち行列を用意 プロセスは, クオンタムを得るごとにより優先度の低い待ち行列に移される CPU プロセス プロセス プロセス 優先度 低 69

70 MLF Multi Level Feedback 複数のクオンタムを必要とするようなプロセス ( すなわち長い時間がかかるプロセス ) は, どんどん優先度が下がってゆく SPTF の良い近似になっている 70

71 スケジューリングアルゴリズムの実スケジュリングアルゴリズムの実行例

72 10s FIFO の例 プロセス処理時間 [s] 到着時刻 [s] A 10 0 B 20 2 C 5 6 t=2 t=6 t=10 t=30 t=35 28s=(10-2)+20 29s=4(A に対する待ち )+20(B に対する待ち )+5( 自身の処理時間 )

73 SPTF: Shortest Processing Time First SPTF の例 10s プロセス 処理時間 [s] 到着時刻 [s] A 10 0 B 20 2 C 5 6 t=2 t=6 t=10 t=15 t=35 33s=(10-2)(A の処理待 )+5(C の処理待ち )+20( 自身の処理 ) 9s

74 RR の例 プロセス処理時間 [s] 到着時刻 [s] A 10 0 B 20 2 C 5 6 t=2 t=6 t=20 t=23 t=35 23s 10=2*(1/1)+4*(1/2)+x*(1/3)+y*(1/2) 33s 15s?*(1/3)=5

75 UNIXにおける スケジューリング

76 実際のOS (UNIX) の具体的実装例 UNIX SystemV Solaris AIX HP UX Linux

77 UNIX SysV 多重レベルフィードバックがベース 相違点 実行の終わったプロセスは, 同じ優先度の待ち行列に 再登録 スーパバイザモードで実行されるプロセスは, そのプリエンプションの原因から優先度を決定 ユーザモードで実行されるプロセスは, 以下で決定 静的優先度 動的優先度 ( 過去のCPUリソースの割当状況から計算 ) NICE 値 ( ユーザが指定する優先度 ) 77

78 SysV のスケジューリング 高 0 割込不可 これらのプロセスの実行中は割り込み禁止 優先度 128 例 ) ディスク入出力待ち 他のリソースを確保している可能性が高く, 早く実行してやらないと他プロセスを足止めする 低 78

79 SysV のスケジューリング 高 0 ユーザモード優先度 P_USER + NICE + P_ CPU 優先度 低 128 P_USER 基準値 (=60) NICE ユーザ指定優先度 P_CPU 動的優先度 79

80 SysV のスケジューリング 高 0 P_USER 優先度 低 ス パバイザ ユ ザ ユーザモードプロセスの基準値 必ずこの値よりも優先度が低くなる スーパバイザモードプロセスとの境界 通常 60 80

81 SysV のスケジューリング 高 0 NICE 優先度 ユーザが指定する優先度 ユーザは実 するプロセスの優先度を下げることができる ( 基本的には ) 上げることはできない 低 81

82 Linux のスケジューリング active expired 高 CPU 優先度 低 82

83 Linux のスケジューリング active expired 高 CPU 優先度 クオンタムが残っている : activeへクオンタムを使い切った : expiredへ 低 83

84 Linux のスケジューリング expired active expired active 高 CPU 優先度 低 84

85 85

86 86

87 87

88 88

89 89

90 90

91 演習 91

92 演習 92

93 まとめ : スケジューリング方式 FIFO (First In First Out) 到着順スケジューリング,FCFS SPTF (Shortest t Processing Time First) 処理時間順スケジューリング PS (Priority it Shdli Scheduling) 優先度順スケジューリング RR (Round Robin) ラウンドロビン MLF (Multi Level lfeedback) 多重フィードバック 93

94 まとめ : 処理時間順 処理時間順スケジューリング 理論上, 応答時間を最小にできる 実装が不可能 近似により処理時間順を実現 多重レベルフィードバック 94

95 まとめ : プロセス優先度 静的優先度 プロセス生成時に決定 動的優先度 実行中に変化 優先度スケジューリング 優先度の低いプロセスが starvation に陥る可能性 aging 等で解決 95

96 第 5 回 シェルとアクセス権 標準入出力 フィルタコマンド シェルスクリプト ファイルのバックアップ アクセス権 ドライブ ディレクトリ ファイル open/read/write ファイルのメモリへのマッピング アクセス制御 権限 空き領域管理 96

97 シェルのジョブの状態 フォアグラウンド 直接端末から入出力を行える状態. バックグラウンド フォアグラウンドジョブの裏で同時に実行している状態 中断 実行中に一時停止された状態 終了 終了した または終了させられた状態 97

98 バックグラウンドジョブ 通常 : プロンプトの裏で実行されているジョブ 起動時に & を付ける %./a.out バックグラウンド : %./a.out & % a.out が終了するまで次のコマンドは実行不可 a.out の実行中も次のコマンドを実行可能 注意 : ログアウトしてもバックグラウンドジョブが残ることがあるので 全てのバックグラウンドジョブを終了させてからログアウトする 98

99 ジョブの状態の切り替え fg % ジョブ番号 フォアグラウンド C c fg % ジョブ番号 C z バックグラウンド bg % ジョブ番号 中断 kill KILL % ジョブ番号 kill KILL % ジョブ番号 終了 99

100 ジョブ管理のコマンド キー操作 コマンド fg % 番号 bg % 番号 中断やバックグラウンドのジョブを再開中断状態のジョブをバックグラウンドで再開 kill KILL % 番号指定した番号のジョブを強制終了 jobs バックグラウンドで実行中のジョブ, 及び中断状態のジョブを表示 fg と bg で % 番号を省略すると,jobs コマンドで + がついたジョブが対象 キー操作 C z C c フォアグラウンドジョブを中断フォアグラウンドジョブを強制終了 100

101 ジョブ管理 : 使用例 一旦起動したプログラムをバックグラウンドに変更 %./hello C z Ctrlキーを押しながら z [1] Suspended./hello % bg [1]./hello & % 不要なジョブを強制終了 % jobs [1] Running./hello [2] + Running./a.out [3] Running emacs % kill KILL %2 % 101

102 ファイルに関する操作 ファイルに関する操作 アクセス権の設定 ファイルの取りまとめ 圧縮 ファイルの探索 ファイル内の文字列探索 102

103 ファイルのアクセス権 ファイルごとにアクセス権を指定可能 ユーザ A 見える 見える 見えない 見える ユーザ B file1 file2 103

104 ファイルのアクセス権 各ファイルについて - ユーザのカテゴリ毎に - アクセス権を設定可能 ユーザのカテゴリ ファイルの所有者 同じグループ それ以外 アクセス権 読み出し権 書き込み権 実行権 104

105 ファイルのアクセス権表示 ls l 実行例 このファイルの所有者このファイルの所属グループ % ls l hello.txt rw 1 a79999a usr 989 May 22 19:26 hello.txt t ファイルの種類 - 通常ファイル d ディレクトリ 所有者のアクセス権 同じグループのユーザのアクセス権 それ以外のユーザのアクセス権 アクセス権の表記 r 読出し権 w 書込み権 x 実行権 105

106 アクセス権の変更 chmod 利用方法 chmod アクセス権を変更するファイル 変更するカテゴリ u 所有者 g 同じグループの利用者 o それ以外の利用者 a 全ての利用者一つ以上指定 権利の与奪 + 権利を与える 権利を与えないどちらか一つ指定 変更するアクセス権 r 読み出し権 w 書き込み権 x 実行権 一つ以上指定 106

107 利用例 アクセス権の変更 chmod 例 1) ファイルの所有者に実行権を与える % chmod u+x hello.txt 例 2) 同じグループのユーザーに読み出し権と書き込み権を与える % chmod g+rw hello.txt 例 3) 所有者以外の全てのアクセスを禁止 % chmod go rwx hello.txt 例 4) ディレクトリ全体のアクセス権を変更 % chmod R go rwx work 107

108 ディレクトリのアクセス権 ファイルのアクセス権とディレクトリのアクセス権は少し意味が異なる. 読み出し権 : そのディレクトリにあるファイルの名前を閲覧する権利 書き込み権 : そのディレクトリでファイルの削除や新規作成をする権利 実行権 : そのディレクトリに移動する権利. ただし, 実行権が無ければ閲覧もファイルの編集 削除 新規作成も出来ない. 108

109 アクセス権 ファイルとディレクトリのアクセス権の操作 読み出し権 書き込み権 実行権 109

110 ファイルのとりまとめと圧縮 多数のファイルを保管したり他の計算機に転送するとき, 一つのファイルにまとめて, 圧縮 ( サイズを小さく ) すると便利. たくさんのファイルやディレクトリ まとめる 圧縮 保管, 転送 110

111 ファイルの取りまとめと展開 tar 複数のファイルを一つにまとめる 本来はテープに保存する (tape p archive) ) コマンド 複数のファイル 一つのファイルディレクトリ tar ファイル ディレクトリ file1 ディレクトリ file2 file3 file4 tar ディレクトリ file1 file2 file3 file4 111

112 ファイルの取りまとめと展開 利用法 tar file1 file2... tar 処理内容 c 1つのファイルにまとめる t まとめられたファイルの内容表示 x まとめられたファイルの展開 表示に関する指示 v 詳細情報表示 ( 処理内容で表示が異なる ) c の場合 : まとめられる各ファイル名 t の場合 : まとめられたファイルのサイズなどの詳細情報 x の場合 : 展開される各ファイル名 対象の取りまとめファイル f ファイル名ファイル名が の場合は標準入出力 どれか一つオプション必ず指示 112

113 ファイルのとりまとめと展開 tar 利用例 例 1) カレントディレクトリの work と tmp ディレクトリを test.tar というファイルにまとめる. % tar cf test.tar work tmp ファイル名の末尾を.tar としておくと tar でまとめたファイルであることが分かって便利です. 例 2) test.tar の中身を表示 ( 詳細情報も表示 ) % tar tvf test.tar 例 3) test.tar を元の形に展開 ( 展開される各ファイルも表示 ) % tar xvf test.tar 113

114 tar でディレクトリをまとめるときの 注意 ディレクトリは相対パスで指定した方が良い % tar cvf test.tar test 任意の位置に展開することができる バックアップや他の計算機での利用が容易 もし絶対パスで指定した場合 % tar cvf test.tar /home/user3/k70043a/test 全く同じ絶対パスにしか展開できない 114

115 ファイルの圧縮, 解凍 圧縮 : ファイル中の冗長な部分を削ってサイズを小さくする. 解凍 : 削られた冗長部分を補って元のファイルに戻す. ファイル 圧縮解凍 ファイル 115

116 ファイルの圧縮, 解凍 gzip 利用法 : 圧縮 gzip 圧縮するファイル名 圧縮結果は, 元のファイル名の末尾に.gz が付いたファイルに格納される. 例 ) hello.txt eott を圧縮する.( hello.txt.gz eottg が作成される.) % gzip hello.txt 利用法 : 解凍 gzip d 解凍するファイル名 例 ) hello.txt.gz t を解凍する.(hello.txt t が作成される.) % gzip d hello.txt.gz 注意 : 圧縮, 解凍コマンド実行後, 元のファイルは消える 116

117 圧縮するファイルの選択 ファイルを圧縮する利点 ファイルの転送が速い ディスクを有効に利用できる 不便な点 通常 使用する前に復元 ( 解凍 ) が必要 通常, 他の計算機に転送するファイルやしばらく利用しないファイルを圧縮する 117

118 tar と gzip を組み合わせると効果的 file1 SRC file2 file3 file4 SRC.tar SRC/ file1 file2 file3 file4 SRC.tar.gz SRC file1 file2 file3 file4 tar cvf SRC.tar SRC SRC.tar ファイルができる gzip SRC.tar SRC.tar.gzファイルができる tar cvf SRC gzip > SRC.tar.gz 一度に実行 118

119 取りまとめて圧縮されたファイルの 復元 file1 SRC.tar SRC/ SRC file1 file2 file3 file4 tar xvf SRC.tar SRCディレクトリ以下が展開される file2 file3 file4 SRC.tar.gz SRC file1 file2 file3 file4 gzip d SRC.tar.gz SRC.tarファイルができる gzip dc SRC.tar.gz tar xvf 一度に実行 gzip dc ファイル名解凍結果を標準出力に出力 119

120 ファイルの探索 ファイルやディレクトリが増えてくると, 目的のファイルがどこにあるかわからなくなってくる. 探索コマンド find 120

121 ファイルの探索 find 利用法 find 探索開始ディレクトリ name 名前探索後の処理 探索開始ディレクトリは絶対パス, 相対パスどちらで指定してもよい. 主な 探索後の処理 : print i t 見つかったファイルを表示 exec 見つかったファイルに対してコマンドを実行 121

122 利用例 ファイルの探索 find 例 1) work ディレクトリ以下から proj1.f90 を探して表示 % find work name proj1.f90 print 例 2) ホームディレクトリ以下から末尾が ~ であるファイルを探して削除 % find ~ name '*~' exec rm i {} ; コマンドには, 見つかったファイル名を {} で指定する. コマンドの末尾は 空白を一つ以上置いて ; 122

123 文字列の探索 ファイル内から特定の文字列を含む行を探して表示する. プログラムのデバッグなどに利用グなどに利用 123

124 文字列の探索 grep 利用法 grep オプション検索文字列ファイル 主なオプション i 大文字小文字を区別しない n 行番号も表示する l 指定した文字列を含むファイルの名前だけを表示する ( 複数のファイルを指定した場合に利用 ) v v 指定した文字列を含まない行を表示する. 124

125 利用例 文字列の探索 grep 例 1) ファイル test.c から total という文字列を含む行を探索する. % grep i total test.c 例 2) ファイル名の末尾が.f90 のファイルから,! を含まない行を探索する. % grep v '!' *.f90! のような特殊記号は '!' のように直前に を付け, さらにファイル名を ' で囲んで指定する. 125

126 シェルスクリプト 一連のコマンドをファイルに列挙し一括して実行 条件分岐, 繰り返しなども利用可能 用途 : 何度も行う決まった処理 複雑な処理 バッチジョブとして投入する処理 126

127 シェルスクリプト 利用法 スクリプトファイルのパスオプション カレントディレクトリにある場合はレクトリにある場合は./ を忘れない. 引数を受け付けるかどうかは, シェルスクリプトの内容による. コマンドとして実行する前に chmod で実行権限を与えておく. % chmod u+x スクリプトファイル名 127

128 シェルスクリプトの例 1 workディレクトリに移動し, test.f90 をコンパイルして実行する. バッチジョブのスクリプト #!/bin/csh cd work frt test.f90 o test./test 128

129 シェルスクリプトの例 2 引数に指定されたファイルが存在すれば, そのファイルで member という文字列を探索する. 引数は $ 数字で指示する. 例 ) $1 : 1 番目の引数. ファイルが存在するか否かの判定 if ( f ファイル名 ) メッセージの出力 echo メッセージ #!/bin/csh if ( f $1) then grep 'member' $1 else echo "$1 doesn't exist." endif 129

130 シェルスクリプトの例 3 カレントディレクトリにある, ファイル名の末尾が.c であるファイルに対し, ファイル名の末尾にさらに.old を付ける. 繰り返しは foreach 変数 ( 変数のとる値 ) から end まで. ここでは変数のとる値として *.c すなわちカレントディレクトリにある ファイル名の末尾が.c のファイルの名前を指定している. 条件を満たすファイル名について, 順に繰り返しの中を実行する. 変数の中身は ${ 変数 } で参照. #!/bin/csh foreach cfile ( *.c ) mv ${cfile} ${cfile}.old echo ${cfile} ${cfile}.old end 130

131 分割コンパイルの支援 分割コンパイル 一つのプログラムを複数のファイルに分割 大規模なプログラムの管理が容易 一部のファイルに修正を施した後, 再度全部をコンパイルするのは無駄. 修正を行ったファイルのみコンパイル 131

132 分割コンパイルの支援 make ファイルの依存関係を元に必要なコンパイルだけを行う仕組み. コンパイルのコマンドは計算機によって異なる file1.f90 f90 c file1.o cc file2.f90 file3.c f90 c cc c file2.o file3.o program make ファイルの依存関係は Makefile というファイルに記述. 132

133 Makefile の例 Fortran と C 言語の混成プログラム. コンパイル以外のターゲットも作成可能例 ) clean: 途中でできた不要ファイルを削除 backup: 必要なファイルをまとめて圧縮 all: program program: file1.o file2.o file3.o cc o o program file1.o file2.o file3.o file1.o: file1.f90 f90 c file1.f90 file2.o: file2.f90f90 f90 c file2.f90 file3.o: file3.c cc cc file3.c clean: rm f file1.o file2.o file3.o *~ backup: files.tar.gz files.tar.gz: file1.f90 file2.f90 file3.c tar cf file1.f90 file2.f90 file3.c gzip > files.tar.gz 133

134 Makefile の書き方 基本形 ターゲット : ターゲット作成に必要なファイル TAB アクション ターゲット : 目的 ファイル, もしくは単なる名前 ターゲット作成に必要なファイル名 : 複数指定可 アクション : ターゲットを作成するスクリプト 複数行にまたがっても可 行の先頭は必ず TAB 134

135 分割コンパイルの支援 make 利用法 make ターゲット ターゲット : 何を生成するか Makefile に記述されているものを指定する. 何もターゲットが指定されない場合, all が指定されたものとして実行される. 135

136 ファイルシステム API と メモリマップドファイル 136

137 ファイルシステムの役割 (1) 様々な種類の 2 次記憶装置へ, 簡便で 効率的で 安全で 統一的な ( 装置によらない ) 読み書き手段を提供する 137

138 ファイルシステムの役割 (2) 電源を切っても失われない情報の ( ほとんど唯一の ) 格納場所 メモリの内容は電源を切ると失われる プロセス間で情報を共有する自然な場所 プロセス間でメモリは分離されていた メモリメモリメモリ ファイル 138

139 OS がない状態での 2 次記憶 例 : ハードディスク 固定サイズの ブロック の集合 ( 典型 : 512B, 1KB) ブロックのアドレス : ( シリンダ, トラック, セクタ ) 読み書きのインタフェース I/O コマンド発行 終了通知の割り込み 139

140 基本的な抽象化 : ファイル ファイル名 ( パス名 ) ややこしいアドレスではなく自由な文字列 バイト配列としてファイルの簡便な読み書き ファイル名, オフセット 記憶場所 キャッシュを用いた効率的アクセス ファイルの作成, 伸長 空き領域確保 ファイルの所有者, 読み書き権限 ( 来週以降 ) 140

141 API : 基本概念 開く (open) 権限の検査, 以後の読み書き準備 逐次的な読み書き (read/write) 位置あわせ (seek; 頭出し ) メモリマップドファイル ( 後述 ) 閉じる (close) open r/w seek 141

142 Unix API int fd = open(path, access); int m = read(fd, buf, n); int m = write(fd, buf, n); off_t o = lseek(fd, o, from); int err = close(fd); 142

143 Windows API HANDLE h = CreateFile(path, access, ); BOOL ok = ReadFile(h, buf, n, &m, ); BOOL ok = WriteFile(h, buf, n, &m, ); DWORD o = SetFilePointer(h, o1, &o2, from); BOOL ok = CloseHandle(h); 143

144 C 言語の標準ライブラリ API (1) FILE * fp = fopen(path, mode); size_t sz = fread(buf, sz, n, fp); size_t sz = fwrite(buf, sz, n, fp); int fseek(fp, o, from); int c = fgetc(fp); int c = fputc(c, fp); 144

145 C 言語の標準ライブラリ API (2) char * s = fgets(s, sz, fp); int ok = fputs(s, fp); fscanf(fp, %d, &x); /* 例 */ fprintf(fp, %d, x); /* 例 */ int err = fclose(fp); 145

146 open/read/write 系と fopen/fread/fwrite 系 の関係 open/read/write 系 : システムコール fopen/fread/fwrite 系 : ( 結局はopen etc. を呼び出す ) ライブラリ 違い1: 書式付入出力 (fprintf, fscanf) など高機能なIOのサポート 違い2: バッファリングを行う 複数回のfwriteをメモリ上に保持して一度のwriteシステムコールで書き込む 一度のreadシステムコールで大量に読み込んで以降の複数回のfreadに答える 146

147 バッファリング fwrite fwrite fwrite fwrite fwrite fwrite fwrite write 147

148 お断り 本授業資料の作成にあたり 慶應大学 SFC IPL/ITB 岩井クラス 戸辺義人先生 田浦健次朗先生 降旗大介先生 松尾啓志先生 九州大学情報基盤研究開発センター Wikipediaなどの資料を参考にさせていただいています ありがとうございます 148