Microsoft PowerPoint - 16comp-int7-tool-sh-v2.pptx

Transcription

1 コンピュータ入門 第 16 回 UNIX のツールたち シェルスクリプト 本日の話題 とっても便利な UNIX のツール ( コマンド ) たち テキスト 12 章 cut, touch, sort... 正規表現 テキスト12 章 いろんな 字列パターンを簡単に表現 grep, sed を使ってみようシェルプログラミング テキスト 3 章,13 章シェルスクリプトって? 変数, 制御制御 度コンピュータ入門 2 1

2 UNIX のツールたち 便利に使って作業効率 UP! UNIX のコマンド UNIX はもともと科学技術関係の研究 システムとして開発 研究 開発に必要 便利なさまざまなコマンドがある 機能なコマンドからシンプルなものまで UNIXコマンドは, さな機能をもつコマンドを組み合わせて複雑な処理をさせることができる!! リダイレクションやパイプを いたコマンド間のデータの受け渡し機能を存分に利 度コンピュータ入門 4 2

3 UNIX のツールの考え方 UNIX はもともと科学技術関係の研究 システムとして開発 量のデータに対して 同じ処理を繰り返し うのに適している 誰がいつ実 しても同じ実験結果が出るようにするのに適している つまり 処理の 動化が簡単にできるように作られている 度コンピュータ入門 5 紹介するコマンド すべては紹介できないテキストには, よく使う便利なものを選びに選んで掲載ここではさらに選りすぐった以下のコマンドを紹介 cut : 字列から指定された部分を切り出し sort: あるルールに従ってデータを整列 tr : 字を置き換え touch: ファイルにお触り grep: 指定された 字列を含むものを表 sed: 字列中の指定されたパターンを置換 度コンピュータ入門 6 3

4 オンラインマニュアル ( おさらい ) UNIX では, ほとんどすべてのコマンドに対するオンラインマニュアルを完備 コマンドや, ファイル, 機能に関する詳細な説明 man コマンドで参照 例 cse$ man man : man コマンドに関するマニュアル UNIXを利 する上で, オンラインマニュアルの活 は必須. たいていのことはマニュアルに記載 に聞く前にマニュアルを読む 最近はほとんど 本語のマニュアルになっている 度コンピュータ入門 7 オンラインマニュアルの見方 $ man ls [space] で Page Down b で Page Up q で終了 度コンピュータ入門 8 4

5 日本語マニュアルに関する注意 ほとんどのマニュアルはもともと英語で書かれている どこかの親切な がボランティアで 本語に訳してくれている 本語版を販売しているメーカーが嫌々訳している ありがたいんだけどあまりいい 本語ではない場合が多い 興味のある は英語のマニュアルを探して読んでみよう 度コンピュータ入門 9 コマンドの紹介 5

6 UNIX でよく用いられるデータ形式 エディタで作成できる テキスト これを プレーンテキスト データなどという 列形式 各 の区切りは改 記号 <CR> 各列 ( フィールド ) は区切り 字 ( スペース, など ) で区切られている 1 に意味のあるひとかたまりのデータ データ作成に いたプログラムが無くなっても これなら何とかなる 度コンピュータ入門 11 データファイルの例 TOTO 1982 TOTO IV Rosanna 5:32 TOTO 1982 TOTO IV Make Believe 3:48 TOTO 1979 Hydra All Us Boys 5:03 TOTO 1981 Turn Back Goodbye Elenore 4:54 Journey 1981 Escape Keep On Runnin 3:40 Journey 1983 Frontiers Separate Ways 5:27 区切り文字は <TAB> 度コンピュータ入門 12 6

7 実際のデータ TOTO<TAB>1982<TAB>TOTO IV<TAB>Rosanna<TAB>5:32<CR>TOTO<TAB>19 82<TAB>TOTO IV<TAB>Make Believe<TAB>3:48<CR>TOTO<TAB>1979<TAB> Hydra<TAB>All Us Boys<TAB>5:03<CR>TOTO<TAB>1981<TAB>Turn Bac k<tab>goodbye Elenore<TAB>4:54<CR>Journey<TAB>1981<TAB>Esca pe<tab>keep On Runnin <TAB>3:40<CR>Journey<TAB>1983<TAB>Fr ontiers<tab>separate Ways<TAB>5:27<CR> 以下紹介するコマンドは このようなプレーンテキストデータを処理するのに適したもの 度コンピュータ入門 13 cut コマンド 名前通り 切り出すプログラム指定された 字を区切り 字 (delimiter, separator) としてフィールド ( カラム ) に分離指定したフィールドのみを出 よく使うオプション -d 区切り 字 : 区切り 字を指定 スペースなどシェルに対する特殊 字は で囲む 例 -d スペースを区切り 字にしたい時 -f フィールド番号 : 最初から何番 のフィールドを出 するか? 複数指定するときは,,( コンマ ) で区切る 例 -f1,2,5 -c 字リスト : 任意 字 を区切りにする -b バイトリスト : 任意のバイト を区切りにする 度コンピュータ入門 14 7

8 cut の使用例 $ echo aaa:bbb:ccc:ddd:eee cut -d: -f1,3 aaa:ccc $ ls *.tex report1.tex report2.tex report3.tex $ ls *.tex cut -d. -f1 report1 report2 report3 cut [ オプション ] ファイル名 のように ファイル名を指定すると, ファイル内のデータを cut!! cat ファイル名 cut [ オプション ] と同じ ファイルの中身を表示するコマンド 度コンピュータ入門 15 やってみよう echo "aaa,bbb,ccc,ddd" echo "aaa,bbb,ccc,ddd" cut -d, -f1,3 who who cut -d" " -f1 ls -1 *.tex ls -1*t *.tex cut -d. -f1 ls -1 コマンドは 1 に 1 ファイル名で出 される 度コンピュータ入門 16 8

9 sort コマンド 名前通り 整列する ( 並べ替える ) コマンド データの各列を数字 or アルファベット順に並べ替えて出 よく使うオプション -n : 番号順に整列 これをつけないと, 字ずつ辞書順で整列 例 111 と 23 を与えた時, -n なし : 111, 23 -n あり : 23, 111 -t 区切り 字 : フィールドの区切り指定 -k フィールド番号 : 何番 のフィールドを使って整列させるか? -r : 逆順整列 ( 普通は昇順 ) 度コンピュータ入門 17 sort の使用例 $ cat sort-data katayama:200: takumi:100: katayama:30: takumi:90: $ sort sort-data katayama:200: katayama:30: takumi:100: takumi:90: $ sort -t : -k 2 sort-data takumi:100: katayama:200: katayama:30: takumi:90: $ sort -n -t : -k 2 sort-data katayama:30: takumi:90: takumi:100: katayama:200: 度コンピュータ入門 18 9

10 やってみよう ls -l ls -l sort -n -k 5 ファイルサイズでソートされるはず ls -l sort -k 6 付でソートされるはず 付は数字じゃないので -n は指定していない 度コンピュータ入門 19 tr コマンド tr TRanslates characters 1 字単位での 字の置き換えコマンド sed は複数の 字 ( 字列 ) の置き換え使 例 tr ʼ[a-z]ʼ ʼ[A-Z]ʼ 字列の 字をすべて 字に変換 tr ʼ[A-Z]ʼ ʼ[a-z]ʼ 字列の 字すべて 字に変換 tr -d ʼ nʼ データから改 ( n) をすべて削除 度コンピュータ入門 20 10

11 touch コマンド ( テキストなし ) 指定されたファイルが存在する場合, ファイルの更新 時を更新指定されたファイルが存在しない場合, 新しくファイルを作成 ( 中 は空っぽ ) よく使うオプション -a : アクセス時刻のみ変更 -m : 変更時刻のみ変更 -c : ファイルがない場合作らない -t 時刻 : 指定時刻に変更 ( 普通は現在時刻 ) 度コンピュータ入門 21 touch の使用例 $ ls -l -rw e system 月 27 日 19:03 sort-data $ touch chotto $ ls -l -rw e system 0 05 月 27 日 19:12 chotto -rw e system 月 27 日 19:03 sort-data $ touch sort-data -rw e system 0 05 月 27 日 19:12 chotto -rw e system 月 27 日 19:13 sort-data 度コンピュータ入門 22 11

12 正規表現入門 正規表現とは? 詳しくは計算機 語等の講義でここでは以下のように考える 字やその繰り返しを表す特殊な表現 ( 特殊 字 ) を いて, 任意の 字列パターンを現すもの 例 字のアルファベット5 字からなる 字列 という意味の正規表現 [a-z][a-z][a-z][a-z][a-z] 字のアルファベットの後ろに数字がくっついている 字列 という意味の正規表現 [a-z]*[0-9]* 正規表現にもいろいろな種類がある ここでは,sed, grep で いられるものを扱う オンラインマニュアル regexp を参照!! 度コンピュータ入門 24 12

13 正規表現での特殊文字 特殊 字 字列のパターンを現すために いる記号 ( 字 ) 特殊 字の組み合わせで, 好きな 字列のパターンを表現 特殊 字の種類と意味. : 任意の 1 字 [abc] : a,b,c のいずれか 1 字 [^abc] : a,b,c 以外の 1 字 ^ は [ ] の中で いると, でない という意味 [0-9] : 0から9のいずれか1 字 * : 直前の 字の0 回以上の繰り返し ^ : の先頭 $ : の末尾 {m } : 直前で指定した 字の m 回の繰り返し : 特殊 字を特殊 字として扱いたくない場合にエスケープテキストに, 他にもいろいろ載っているので, 各 確認すること. より詳細には, オンラインマニュアル参照の事 度コンピュータ入門 25 みなさんの基盤 ID 正規表現の例 例 cin15000, cht15000 先頭の 字が c, 続いて 字のアルファベットが2 字 数字が5 字正規表現で現すと ^c[a-z][a-z][0-9][0-9][0-9][0-9][0-9] or ^c[a-z] {2 }[0-9] {5 } 基盤 ID は 本語では 先頭が "c" でそのあとに 字のアルファベットが2 字 数字が5 字続く 字列 正規表現では ^c[a-z] {2 }[0-9] {5 } 度コンピュータ入門 26 13

14 パスワードのエントリ 正規表現の例 ypcat passwd というコマンドで確認できます 例 cin15000:xxxxxx:100:200:test:/home/22115/cin1 5000:/bin/bash : で区切られた7つのフィールド ユーザ名 : パスワード :UID:GID:GCOS: ホーム : ログインシェル 本語で表すと ":" で区切られた7つの 字列からなり そのうち3,4 番 の部分は数字 また各 字列は空でもいい 正規表現で現すと ^[^:]*:[^:]*:[0-9]*:[0-9]*:[^:]*:[^:]*:[^:]* ユーザ名やファイル名に使える 字は限定されているので 厳密には正確ではないが 度コンピュータ入門 27 正規表現を使うコマンド 正規表現を利 して, さまざまな 字列マッチングを う事で便利に使えるコマンドがある grep : Global Regular Expression Print 与えられた正規表現にマッチする 字列を含む を出 つまり検索を うコマンドよく使うオプション -v : 指定された正規表現にマッチする 字列を含まない を出 sed : Stream EDitor sed コマンドにデータを流し込むと, 正規表現で書かれた 字列パターンにマッチ ( 合致 ) する 字列を次々に処理 量のデータの 動変更に便利 度コンピュータ入門 28 14

15 grep の例 パスワードファイルから,cin15で始まるユーザ名のエントリのみ出 ypcat passwd grep ʼ^cin15[0-9]*:ʼ ʼ もうちょっと正確には ypcat passwd grep ʼ^cin15[0-9] {3 }ʼ (cin15で始まりその後に数字が3つ続くエントリ) もうちょっとずるをすると ypcat passwd grep cin15 ( パスワードファイルに cin15 を含むエントリ ) ログインシェルが /bin/bash の 以外を出 ypcat passwd grep -v ʼ/bin/bash$ʼ 度コンピュータ入門 29 おさらい なぜ ' が出てくるの? economy.tex, macro.tex, micro.c, c micro.tex があったとする ls *.tex shellが置き換えてくれる ls economy.tex macro.tex micro.tex OS が上記コマンドを実 OS は置き換えられた結果だけを実 している! 2009 年度コンピュータ入門 30 15

16 なぜ ' が出てくるの? shell にも * などのメタキャラクタがある grep ^cin[0-9]*: とするとgrepに渡される以前に shellが * を変換しようとしてしまう ( 変換されない場合もある ) ルール shell は '' で囲まれた部分は変換しない 該当するファイル名がない場合はメタキャラクタを変換せずにそのままコマンドに渡す 2009 年度コンピュータ入門 31 やってみよう ypcat passwd ypcat passwd grep ypcat passwd grep 分の login 名 ypcat passwd grep bw 度コンピュータ入門 32 16

17 ファイル中の bigin を begin に変換 sed s/bigin/begin/g g g ファイル名 s: 変換しなさい / 変換前 字パターン / 変換後 字パターン / g: 同じ に複数ある場合はすべて g をつけないと, 度変換してしまうとその は終了 頭のスペースを削除 sed の例 sed s/^[( スペース ) ]*// 先頭 (^) のスペースの繰り返し (*) を空 字列に変換. つまり削除 度コンピュータ入門 33 sed のちょっと複雑な変換例 パスワードエントリからユーザ名とログインシェルを抜き出す 出 は ユーザ名 : ログインシェル の形式としようパスワードのエントリは以下の通りユーザ名 : パスワード :UID:GID:GCOS: ホーム : ログインシェルつまり : で区切られた7つのフィールドの1つめと7つめを出 するパスワードエントリの正規表現 [^:]*:[^:]*:[^:]*:[^:]*:[^:]*:[^:]*:[^:]* [^:]* (: 以外の 字列 ) を で表すとすると : : : : : : 2009 年度コンピュータ入門 34 17

18 sed のちょっと複雑な変換例 sed では ( ) でくくるとその部分が保存され, 後から 数字で参照できる で表現すると ypcat passwd sed 's/ ( ): : : : : : ( )/ 1: 2/' 正規表現に戻すと ypcat passwd 実際は改行なし sed ʼs/ ([^:]* ):[^:]*:[^:]*:[^:]*:[^:]*:[^:]*: ([^:]* )/ 1: 2/ʼ 2009 年度コンピュータ入門 35 答えは一つじゃない UNIXでは同じことをするのにいろいろな 法が考えられますそれでいい! 分の好みの 法を使いましょう 100 いれば100 種類の答えがあってあたりまえ パスワードエントリからユーザ名とログインシェルを抜き出す さっきはsedで実現した cut コマンドでもできる awk という別のコマンドを使う 法もある ( 柳の好きな 法 ) 最近のはやりは perl という 語を使う 法 Emacs の 形カット機能 (M-x kill-rectangle) を使ってもできる Emacs で 動で ( 業で ) 削除するのもありといえばあり 度コンピュータ入門 36 18

19 シェルプログラミング入門 シェルプログラミングってなに? シェルプログラミング シェルスクリプト (shell script) を作成し, 実 する事 script = 芝居などの台本のこと shell script = shell の台本 = 複数コマンドの 動実 のための台本 gnome-terminal 上で するコマンドをそのままファイルに記述して 気に実 する台本を書くことができる! 度コンピュータ入門 38 19

20 はじめに注意事項を 皆さんが使っている shell は bash です echo $SHELL とやってみよう bash を いた shell script もあります が ここでは基本となる sh を使う shell script について勉強することにします bash は sh の上位互換 (sh で実 可能なものは bash でも実 可能 ) 度コンピュータ入門 39 シェルスクリプトの作成法 よく行う作業ファイルにそのまま書く $ pwd foo $ date $ ls pwd <CR> date <CR> そのファイル名で中に書いてある一連の作業を実行できる ls <CR> $ foo 簡単! 度コンピュータ入門 40 20

21 シェルスクリプト 既存のコマンドと全く同様に使える ( リダイレクション パイプなど ) 分専 のコマンドを簡単に作成することができる if, for などの条件 やループ処理も使えるので 種のプログラムを作ることができる 度コンピュータ入門 41 シェルスクリプトの作成法 ( ちょっと大げさでした ) foo #!/bin/sh <CR> pwd <CR> date <CR> ls <CR> 先頭で sh を使って実行してください という宣言をする % chmod u+x foo 一つのファイルにつき一回で OK 度コンピュータ入門 42 21

22 やってみよう emacs foo & foo というファイル名で以下の内容を保存 #! /bin/sh pwd date ls chmod u+x foo./foo./foo sort less 度コンピュータ入門 43 シェルプログラミングの基本事項 (1) 基本事項 コメント # で始まる は, プログラムとして実 されない変数 ( 後述 ) 変数とは, 値を れておく れ物変数名 = 値で変数に値を代 変数の中 を参照する時は,$ 変数名 #/bin/sh / # ここはコメント i=hello echo i echo $i echo $iworld echo ${i}world 実行 %./hello i Hello HelloWorld 度コンピュータ入門 44 22

23 シェルプログラミングの基本事項 (2) コマンド置換 ` ( バッククオート ) で囲むと, その部分がコマンドの実 結果に置き換わる ( ʼ ( シングルクオート ) ではないので注意 ) #!/bin/sh echo Now, it is `date` %./nowdate Now, it is 05 月 28 日 16 時 36 分 43 秒 他にもいくつか注意点があるので, テキストに目を通しておく事!! 度コンピュータ入門 45 以下 プログラミングに関する話があります 詳しいことについては 後半の授業 プログラミングI にてプログラミングについて勉強した後に 書いてある内容がわかるようになるはずです でも ちょっとやってみればきっと理解できます 来週からの課題で若 使 しています プログラミングの講義の前に, がんばって理解してみましょう 度コンピュータ入門 46 23

24 計算機に仕事をさせる時の基本的な構造 逐次処理 命令を書かれた順に処理今までの例はすべて逐次処理選択処理 条件にしたがって処理する内容を変更反復処理 同じ処理を繰り返し 制御構造 度コンピュータ入門 47 条件によって処理する内容を変える if if 条件 then 条件が真の時の処理 ( 複数 可 ) fi if 条件 then 条件が真の時の処理 ( 複数 可 ) else 条件が偽の時の処理 ( 複数 可 ) fi 選択処理 2009 年度コンピュータ入門 48 24

25 選択処理 条件によって処理する内容を変える if 条件 then いくつでも書ける処理 1 elif 条件 2 then 処理 2 else 処理 3 fi なくてもよい 2009 年度コンピュータ入門 49 選択処理 #!/bin/sh fname=xxxx.txt if [ -f $fname ] then echo $fname exists. else echo $fname is not found. fi $fname が存在していたら [ -f filename ] は,filename というファイルが存在した時に成り立つ詳しくは , 参照 度コンピュータ入門 50 25

26 変数 字列を保存することが出来る箱 任意の名前をつけることが出来る filename=hoge.txt filename という名前の変数 echo $filename filename という変数の中身 echo $filename exists 年度コンピュータ入門 51 選択処理の例 #!/bin/sh fname=hoge.txt if [ -f $fname] then echo $fname exists. else echo $fname is not found. fi 2009 年度コンピュータ入門 52 26

27 なにがうれしいの? 変数 fname の定義を 変えるだけで いろいろな名前のファイルが存在するかどうかを確認できる 変数 fname の中 を変えて 繰り返しこのシェルスクリプトを実 すれば 動的にたくさんの名前のファイルが存在するかどうかを確認できる 2009 年度コンピュータ入門 53 反復処理 同じ内容を繰り返す for for 変数 in 単語リスト do 処理 1 処理 2 done #!/bin/sh for syurui in txt tex dvi ps do echo $syurui done %./for-test txt tex dvi ps 変数に単語リスト中の単語をひとつずつ代入し, do と done の間の処理を繰り返し行 度コンピュータ入門 54 27

28 おさらい ( ファイル名の展開 ) aaa, bbb, ccc という 3 つのファイルが存在するディレクトリの場合 % ls -l * % ls -l aaa bbb ccc ファイルリストが出力される Shell が * を存在するファイルのリストに展開してくれる Shell の内部処理 度コンピュータ入門 55 For filename in * do ls -l $filename wc $filename done よく用いる反復処理の例 $filename が存在するファイルの名前に順番に置き換えられて ファイルの存在する回数だけ繰り返し実 される このスクリプトを実 したディレクトリに存在するファイルすべて (ʼ*ʼ の部分 ) について ʼls -lʼ と ʼwcʼ を順番に実 する 度コンピュータ入門 56 28

29 その他 選択処理他にも,case (13.3.5) がある反復処理他にも,while (13.3.3) がある スクリプト作成時の注意事項単語は全て空 で区切ること 全 の 字と半 の記号を区別すること コメント以外に全 の 字は使わない! 最後に改 を忘れないこと 度コンピュータ入門 57 if と for を使った例 その他 #!/bin/sh WD=report cd cd $WD for filename in *.tex do if [ -f `echo $filename cut -d. -f1`.dvi ] then echo $filename has already compiled. else platex $filename fi done xxxx.tex というファイル名に対して, この部分で xxxxという名前を 成している $filename を受け取って, 区切り 字. 番 のフィールド出 その後ろに,.dvi をくっつける xxxx.tex というファイル名に対して, この部分で xxxx.dvi という名前を 成している 2009 年度コンピュータ入門 58 29

30 たとえばこんなスクリプトも 1. 指定されたLaTeXファイルに platex コマ ンドを実 2. platexが成功したら xdvi で表 する 3. OK? と聞く 4. 'y' と があったら 5. dvipdfmx で dvi ファイルを pdf ファイルに 変換する 簡単に作れます! 度コンピュータ入門 59 こんなスクリプトも platex コマンドで 成されるファイル (*.aux, *.log, *.dvi) を削除する 作成から1ヶ 以上たった古いファイルを全てoldというディレクトリに移動する 友 5 がいまどの計算機の前に座っている かを調べて出 する 簡単に作れます! 度コンピュータ入門 60 30

31 今回の演習予告 passwd ファイルを cut, sed を使っていろいろ遊ぶシェルスクリプトを読む if, for などを使ったシェルスクリプトを作成する 今回の講義資料, テキストだけでは りないオンラインマニュアルを活 しよう!! 度コンピュータ入門 61 31