Microsoft PowerPoint - 遺伝統計学夏の学校2018_Linux入門.pptx

Size: px

Start display at page:

Download "Microsoft PowerPoint - 遺伝統計学夏の学校2018_Linux入門.pptx"

ゆずさつまがみ
5 years ago
Views:

2018 年 8 月 25-27 日遺伝統計学夏の学校 @ 大阪大学講義実習資料 Linux 入門

1 2018 年 8 月日遺伝統計学大阪大学講義実習資料 Linux 入門大阪大学大学院医学系研究科遺伝統計学 1

2 講義の概要 Linux 入門 1 Linux について 2 Cygwin について 3 Cygwin を使った Linux コマンド実習 2

3 1 Linux について OS(Operating System) Windows Mac OS Unix Linux Linuxは OS(Operating System) の一種です OSはコンピューターを動かす基本ソフトウェアの一種で主要なものに WindowsやMac OSが挙げられます 3 Linuxは UnixというOSと互換性を持つように作られたUNIX 系 OSです

Linuxのディストリビューション ( 配布形式 ) には Redhat 系やDebian 系など様々な種類が存在します

4 Linux 1 Linux について Redhat 系 Debian 系 CentOS Turbo Vine Ubuntu Slackware 系 Slackware Linuxはフリーのオープンソースなソフトウェアです多くの人が開発に参加してきた経緯から Linuxのディストリビューション ( 配布形式 ) には Redhat 系やDebian 系など様々な種類が存在しますゲノム解析用の大規模計算機サーバーでは Redhat 系に属する CentOSが使われる例が多いようです ( 初心者ユーザーとしては違いをあまり気にしなくて大丈夫です ) 4

5 1 Linux について Linuxの特徴はメインのユーザーインターフェースがコマンド入力で動く CUI(Character User Interface) 形式であるという点ですキーボードからの文字入力でコンピューターを ( 主に ) 操作します 5

6 1 Linux について一方で WindowsやMac OSではメインのユーザーインターフェースがアイコン操作で動く GUI(Graphical User Interface) 形式になりますキーボードからの文字入力に加えてマウスを使って操作します 6

7 1 Linux について CUI > GUI GUIは直観的な操作が可能ですが計算リソース(CPUやメモリ) を多く消費する点や操作の記録ができない点が課題です CUIは慣れるまで操作がやや難しいですが計算リソースの消費が少なく入力コマンドの履歴として操作を記録することができます 7 GUIとCUI どちらも重要ですがデータ解析の分野ではCUIが便利です

8 1 Linux について CUI が難しそうで最初は難しいですがすぐ慣れるようになります CUIは最初は難しく感じるかもしれませんが慣れるととても便利ですコンピューターのリソースを最大限データ解析に割り振るためにもリソース消費の少ないCUIは役立ちます 8 データ解析の研究を行う場合操作が記録できることはとても重要です

9 1 Linux についてクライアント端末 (Windows/Mac) 大規模計算機サーバー (Linux) 大容量データストレージログイン + ゲノムデータ解析の分野ではデータ容量や計算リソースの規模から個別のクライアント端末 PCのみを使用した解析は難しいです大規模計算機サーバー(Linux) および大容量データストレージにクライアント端末からログインして解析を行うのが一般的ですその観点からも Linux 環境に慣れ親しんでいることが重要です 9

10 1 Linux についてテキストファイルの結合 +... テキストファイルの分割... + Linuxはテキスト形式ファイルの取り扱い( 閲覧整形切り貼り照合 ) に関する機能が充実していますゲノムデータ解析ではゲノムデータや解析結果を巨大なテキストファイ 10 ルとして扱う例が多く Linuxのテキストファイル処理機能は重宝します

11 講義の概要 Linux 入門 1 Linux について 2 Cygwin について 3 Cygwin を使った Linux コマンド実習 11

12 2 Cygwin についてクライアント端末 (Windows/Mac) 大規模計算機サーバー (Linux) 各端末 PC からユーザーアカウントとパスワードを使ってログイン Linuxの使用ケースとして多いのは大規模計算機サーバー(Linux) に各自がクライアント端末 (Windows/Mac) からネットワーク経由でログインする形ですサーバーの構築は専門スキルを要するため Linux 環境に触れる際の参入障壁ともなっていました 12

13 2 Cygwin について Linux Windows Windows 上に擬似的にLinux 環境を構築することでサーバーが無くてもLinux 環境に触れてみることができます ( クライアント端末 OSそのものをLinuxにする例もありますまた Mac OS Xは構造上 UNIXに近いので疑似環境の構築は必ずしも必要ありません ) 13 疑似的なLinux 環境は複数あり本講義ではCygwinを取り扱います

14 2 Cygwin について Cygwinは Windows 上で動作するフリーのLinux 疑似環境ソフトです但しあくまで疑似環境なので細かい点では本家のLinuxとは動作が異なることに注意が必要です 14

15 2 Cygwin について一般的な Linux 疑似環境 Cygwin による Linux 疑似環境異なるディスク領域を使用同じディスク領域を使用一般的な疑似環境と事なり Windowsのディスク領域上に直接インストールされるため Windows 上のデータファイルにCygwin 経由でもアクセスすることが可能になります ( 便利です ) 15

16 2 Cygwin について Cygwinホームページの Install Cygwin ページから 64bit 用のインストールファイル setup-x86_64.exe をダウンロードし実行します (Windows が 32bit の場合 32 bit 版をダウンロードして下さい ) 16

17 2 Cygwin について指示に従って進めると Cygwin のインストールが完了します ( 本講義で使用する PC には既にインストール済みです ) インターネット経由で必要ファイルが自動ダウンロードされるのでネット接続環境下での実施が推奨されます 17

18 2 Cygwin について途中でインストールするパッケージ( 機能 ) の設定を行います Default のままでも基本的機能は実装されますが全機能を実装したい場合は Install を選択します ( 完了まで長時間かかります ) Perl Python Rubyといったプログラミング言語も Cygwin 本体と同時 18 にインストール選択可能です

19 2 Cygwin についてインストール後アイコンをクリックするとCygwinが起動します Cygwin 画面上で Linuxコマンドを打ち込むと実行されます 19

20 講義の概要 Linux 入門 1 Linux について 2 Cygwin について 3 Cygwin を使った Linux コマンド実習 20

21 Linux はどのように使えばいいのですか? Linux コマンドをキーボードから打ち込んで使います LinuxはCUIインターフェースのためコンピューターへの命令をキーボード入力で行う必要があります Linux コマンドという命令文を打ち込むことで実行します 21

22 メモリ使用状況システム負荷状況個別の CPU 実施プロセスの状況 Linuxコマンド top を入力してみましょう top は OSの実施状況をリアルタイムで表示するコマンドです 22 Ctrl + C を入力することで top 実行画面を中止することができます

23 コマンド機能 top システム使用状況を表示 pwd カレントディレクトリを表示 cd カレントディレクトリを変更 ls ディレクトリやファイル情報を表示 echo 文字列や変数の値を標準出力に表示 cp ファイルやディレクトリをコピーする mv ファイルやディレクトリを移動する rm ファイルやディレクトリを消去する wc テキストファイルの大きさや行数を表示 gzip ファイルとgz 形式で圧縮 gunzip gz 形式のファイルを解凍 less ファイル内容を一画面ごとに表示 head ファイル内容を行単位で先頭からを表示 tail ファイル内容を行単位で末尾からを表示 23 Linuxコマンドは多数存在します頻回に使用するものから覚えましょう

24 コマンド機能 cut ファイル内容を列単位で表示 grep ファイル内容に含まれる文字列を検索 sed ファイル内容に含まれる文字列を変換 diff 複数ファイルの内容を比較 cat ファイル内容を表示ファイルを縦に ( 行単位で ) 結合 zcat gz 形式圧縮ファイル内容を表示 paste ファイルを横に ( 列単位で ) 結合 history 入力コマンド履歴を表示 wget インターネット経由でファイルをダウンロード exit Linuxの終了 > 標準出力への表示内容をファイルに書き込むコマンド同士を連結する & コマンドをバックグランドで実行する * ファイルやディレクトリ名の一部を省略する 24 Linuxコマンドは多数存在します頻回に使用するものから覚えましょう

25 Linux コマンドを解説した書籍や Web サイトも多数存在します 25

26 Linux コマンドを覚えるのが大変そうなのですが実際に手を動かしてコマンドを打ち込んでみると習得が速いです最初は覚えるのが難しく感じますが実際に手を動かしてコマンドを打ち込んでみると習得がはやいです ( 経験則ですが ) 教本を眺めているだけだとなかなか習得が進まないです 26

27 ~ Cygwinを起動して $ マークの後に続 $ pwd くコマンドを実際に入力してみてしょう /home/yokada 入力するコマンド yokada@yokada-pc ~ $ cd /cygdrive/c/work/summerschool_201608/ yokada@yokada-pc /cygdrive/c/work/summerschool_ $ pwd /cygdrive/c/work/summerschool_ yokada@yokada-pc /cygdrive/c/work/summerschool_ $ ls Linux 入門統計ソフトR 入門 pwd でカレントディレクトリの表示 cd でディレクトリの異動 ls でディレクトリ内のファイルの表示ができます 27

28 $ ls -la 合計 16 d yokada None 0 8 月 14 21:45. d yokada None 0 8 月 14 21:43.. d yokada None 0 8 月 15 16:17 Linux 入門 d yokada None 0 8 月 15 00:12 統計ソフトR 入門 ls -la とオプションを指定するとより詳細な情報が得られますコマンドだけでなく主要なオプションを覚えることも重要です Linuxでは半角スペースはコマンドオプションファイル名等の区切り文字として認識されます名前に半角スペースを含むファイルは扱いが難しいため避けることが推奨されます 28

$ ls -la 合計 16 d---------+ 1 yokada None 0 8 月 14 21:45. d---------+ 1 yokada None 0 8 月 14 21:43.

29 $ ls -la 合計 16 d yokada None 0 8 月 14 21:45. d yokada None 0 8 月 14 21:43.. d yokada None 0 8 月 15 16:17 Linux 入門 d yokada None 0 8 月 15 00:12 統計ソフトR 入門 29 Windows 上のファイルを Cygwinを通して閲覧していることになります

30 LS(1) User Commands LS(1) NAME ls - list directory contents SYNOPSIS ls [OPTION]... [FILE]... DESCRIPTION List information about the FILEs (the current directory by default). Sort entries alphabetically if none of -cftuvsux nor --sort is specified. Mandatory arguments to long options are mandatory for short options too. -a, --all man ls のように man をコマンド名と共に入力することでオプション詳細がわかります ( 初めは入門本や Web ページを参考にする方がわかりやすいです ) 30

31 ~ $ cd /cygdrive/c/work/summerschool_201608/l ここまで入力した段階でタブキーを押すと yokada@yokada-pc ~ $ cd /cygdrive/c/work/summerschool_201608/linux 入門 / 残りが自動的に補完される! ディレクトリ名やファイル名を入力する際初めの数文字を入力した段階 31 でタブキーを押すと残りの文字を自動的に補完してくれます

32 $ echo "AAA" AAA $ echo "AAA" > Example.txt echo で後に続く文字列や変数の値を標準出力 (Linuxコマンド画面) に表示することができます標準出力に表示される内容は > を使うと後に指定されるファイルに書き出すことが出来ます 32

33 $ echo "AAA BBB" AAA BBB $ echo "AAA tbbb nccc" AAA tbbb nccc $ echo -e "AAA tbbb nccc" AAA BBB CCC echo ではタブ ( t) や改行 ( n) といった特殊文字も表示できます 33 その際オプション -e を付ける必要があります

34 $ echo -e "AAA tbbb nccc" > Example.txt $ cp Example.txt Example2.txt cp でファイルやディレクトリをコピーすることができます 34

35 $ mv Example.txt /cygdrive/c/work/summerschool_201608/ $ cd.. 1つ上の階層のディレクトリを意味する yokada@yokada-pc /cygdrive/c/work/summerschool_ $ ls Example.txt Linux 入門統計ソフトR 入門 yokada@yokada-pc /cygdrive/c/work/summerschool_ $ rm Example.txt yokada@yokada-pc /cygdrive/c/work/summerschool_ $ ls Linux 入門統計ソフトR 入門 mv でファイルやディレクトリを移動することができます rm でファイルやディレクトリを消去することができます 35

36 rm コマンドで消去したファイルは復活できますか? Linux 上で消去したファイルは復元できません Linux 上で消去したファイルは復元できません rmコマンドを使用する場合入力前に最終確認してから行いましょう解析の経過で生成したファイルは ( ディスク容量に余裕がある場合は ) 消去せず保存しておくと安心です 36

37 入力してはいけないコマンド rm * よくある失敗例 rm *.txt 誤って半角スペースが挿入されていることに ( リターンキーを押してから ) 気づく同じコマンドライン上に rm と * が並んでいる時は細心の注意を払いましょうリターンキーを押す前に一呼吸いれる習慣がオススメです 37

38 $ echo -e "AAA nbbb nccc nddd" > Example.txt $ wc Example.txt Example.txt 行数が表示される wc でテキストファイルの大きさ ( 行数 ) を確認することができます 38

39 $ echo -e "AAA nbbb nccc nddd" > Example.txt $ gzip Example.txt $ ls Example.txt.gz $ gunzip Example.txt.gz $ ls Example.txt gzip でファイルの gz 形式の圧縮 gunzip で gz 形式ファイルの解凍ができます 39

40 $ echo -e "AAA nbbb nccc nddd" > Example.txt $ less Example.txt AAA BBB CCC DDD less でファイル内容を一画面ごとに表示することができます less の表示画面から戻る際は q を押します大きい( 長い ) ファイルの内容を確認するときに便利です 40

41 $ echo -e "AAA nbbb nccc nddd" > Example.txt $ head -n 2 Example.txt AAA BBB $ tail -n 2 Example.txt CCC DDD head / tail でファイル内容を行単位で先頭 / 末尾から表示することができます -n オプションで表示する行数を指定する必要があります 41

42 $ echo -e "AA1 taa2 taa3 nbb1 tbb2 tbb3" > Example.txt $ cut -f 2 Example.txt AA2 BB2 $ cut -f 1-3 Example.txt AA1 AA2 AA3 BB1 BB2 BB3 cut でファイル内容を列単位で表示することができます -f オプションで表示する列の場所を指定する必要があります 42

43 $ echo -e "AA1 taa2 taa3 nbb1 tbb2 tbb3" > Example.txt $ grep "A" Example.txt AA1 AA2 AA3 $ grep "1" Example.txt AA1 AA2 AA3 BB1 BB2 BB3 43 grep でファイル内容に含まれる文字列を検索することができます

44 $ echo -e "AA1 taa2 nbb1 tbb2" > Example.txt $ cat Example.txt AA1 AA2 BB1 BB2 $ cat Example.txt Example.txt AA1 AA2 BB1 BB2 AA1 AA2 BB1 BB2 cat でファイルの内容を表示したりファイルを縦に ( 行単位で ) 結合することができます 44

45 $ echo -e "AA1 taa2 nbb1 tbb2" > Example.txt $ gzip Example.txt $ cat Example.txt.gz WExample.txtst4 tt4 rr2 tr2 d u 読めない $ zcat Example.txt.gz AA1 AA2 ちゃんと読める!! BB1 BB2 zcat で gz 形式に圧縮されたファイルの内容を表示することができます gunzip で解凍する手間を省くことができます 45

46 $ echo -e "AA1 taa2 nbb1 tbb2" > Example.txt $ paste Example.txt Example.txt AA1 AA2 AA1 AA2 BB1 BB2 BB1 BB2 $ paste -d "-" Example.txt Example.txt AA1 AA2-AA1 AA2 BB1 BB2-BB1 BB2 paste でファイルを横に ( 列単位で ) 結合することができます結合時の区切り文字はデフォルトでタブ( t) ですが -d オプションで指定することもできます 46

$ wget http://www.sg.med.osaka-u.ac.jp/images/header.png --2016-08-15 17:59:04-- http://www.sg.med.osaka-u.ac.jp/images/header.png www.sg.med.osaka-u.ac.jp (www.sg.med.osaka-u.ac.jp) を DNS に問いあわせています.

47 $ wget :59: ( を DNS に問いあわせています ( :80 に接続しています... 接続しました HTTP による接続要求を送信しました応答を待っています OK 長さ : (300K) [image/png] `header.png' に保存中 header.png 100%[=================>] K --.-KB/s 時間 0.004s :59:04 (67.9 MB/s) - `header.png' へ保存完了 [307671/307671] $ wget -q wget でインターネット上のファイルをダウンロードできます -q オプションを使うとダウンロード経過を表示しなくなります 47

48 $ wget -q (Ctrl+C) で強制終了 $ wget -q & [1] 9180 $ [1]+ 終了 wget -q 実行中のコマンドを強制終了する場合 Ctrl+C を押しますコマンドの末尾に & を付けるとバックグラウンドで実行されるためコマンド終了を待たずに別のコマンドを入力できるようになります 48 バックグラウンドで実行中のコマンドを確認する場合 top を使います

49 $ exit exit で Linux 端末 ( 本講義ではCygwin 画面 ) を終了できます exit で終了後も再度立ち上げればコマンド入力履歴を history で確認できます 49

50 終わりに Linux の使い方を駆け足でなぞってみました Linux が難しくないこと便利であることを感じてもらえればと思いますゲノムデータ解析の分野では主な解析は Linux 上で実施されています今回の講義は一般ユーザーが使うコマンドに絞って解説していますサーバー管理コマンドやユーザーアカウント管理コマンドパスの概念ネットワーク関連の機能については解説していません必要に応じて各自勉強して頂ければと思います 50

練習 4 ディレクトリにあるファイルを直接指定する (cat) cat コマンドを使う (% cat ファイル名 ) とファイルの内容を表示できたファイル名のところにパス名を使いディレクトリ名 / ファイル名のように指定するとディレクトリ内にあるファイルを直接指定できる 1 % cat _

練習 4 ディレクトリにあるファイルを直接指定する (cat) cat コマンドを使う (% cat ファイル名 ) とファイルの内容を表示できたファイル名のところにパス名を使いディレクトリ名 / ファイル名のように指定するとディレクトリ内にあるファイルを直接指定できる 1 % cat _ UNIX 入門 4 ディレクトリ操作に関するコマンドと実習以下の実習を実施しなさいファイル aaa は先の実習で % date _ > _ aaa の命令で作成したファイルである aaa がホームディレクトリにない場合には事前に作成しておくこと方法がわからない者は TA に聞きなさいなお本日の練習は上から順に実施する必要がある前の練習が正しく行われていないと次の練習がうまくできない場合がある