PowerPoint プレゼンテーション

Size: px

Start display at page:

Download "PowerPoint プレゼンテーション"

さやくまじ
4 years ago
Views:

1 Linux の基本操作九州工業大学藤井聡

2 menu Linux の最低限の基礎 Linuxについて Linuxコマンドソフトウェアのインストールから実行まで MACS2 で実践

3 Linux かぁ次世代シーケンサ (NGS) に関係するソフトウェアが Windows で選択とクリックだけで済むものが少なく解析できる手法にも限界が Linux 使えば良いと聞くがどうやって扱っていいのか Linux コマンドのどれ使えばいいのか? NGS 用のソフトウェアのダウンロードしたがどうやってインストールすれば?

4 パソコンスペックってどれくらい必要? ChIP-Seq, RNA-Seq ならば CPU: 速い方が快適 ( 夜流して朝できてればいいやなら遅いマシンでもOK) メモリ :8GBは必要 HDD:NGSは消費激しいので多い方が良いちなみに CPU: インテル (R) Core i プロセッサー ( GHz/4コア/8スレッド/8MBキャッシュ/TDP84W) メモリ :DDR GB 2( 計 16GB) HDD: 1TB 3.5インチ Serial-ATA HDD

5 Linux ディストリビューション Debian 系 Debian Ubuntu(Debianを元に使いやすくしたもの ) Red Hat 系 Red Hat( 有償 ) CentOS(Red Hatのクローン ), Fedora( 実験的要素も含まれている ) Scientific Linux( 科学で使われる一部のパッケージが追加されている )

6 良く使う Linux コマンド必須 - 使用頻度高移動 : ls, cd, pwd, mkdir ファイル操作 : cp, mv, rm ファイルを見る ( 読む ): cat, less(more), head(tail) ファイルの編集 ( 書く ): emacs, vi, gedit, nano etc.. 必要 - 使用頻度低システム管理 : top, kill ファイル圧縮展開 : tar, gzip マニュアルを見る : man 便利検索 : grep, find 並び替えダブリ排除 : sort, uniq パターン処理 : awk

7 まずは端末を開いてみましょうアプリケーションから端末 or terminal を探すして開く

8 ファイルリスト (ls), 現在のパス (pwd), ディレクトリ作成 (mkdir) $ ls 現在のディレクトリの中のファイルのリストを表示する $ pwd 現在自分がいる絶対パスを表示 $ mkdir ( ディレクトリ名 ) 現在いるパスに ( ディレクトリ名 ) を作成する $ mkdir test test という名前のディレクトリを作詞する Memo: ls は何かする度に確認のために ls するぐらい頻繁に行っている $ ls test というディレクトリができているか確認

9 ディレクトリ移動 (cd) $ cd ( ディレクトリ名 ) ( ディレクトリ名 ) に移動 $ cd test test ディレクトリに移動 $ cd.. 一階層上のディレクトリに戻る $ cd 自分のホームディレクトリに戻る Memo: Cntrl+[ スペース ]: 日本語 / 直接入力 Tab: 文字補完

10 ツリー構造 / bin 各種ライブラリ usr etc var home ls, pwd, cd,. bin local ユーザー名管理者権限ないユーザーは編集できない全てのユーザーがアクセスできる bin lib ダウンロードデスクトップ test

11 相対パスと絶対パス相対パス $ cd test 現在のディレクトリの下の test に移動明示的に (./test) のように指定することも多々ある $ cd../../usr/local ( ユーザーのホームディレクトリに居たとすると ) 上の階層の更に上の階層の usr の下の local に移動絶対パス pwd で出力されるのは絶対パス $ cd /home/ ユーザー名 /test /home/ ユーザー名以下の test に移動 $ cd /usr/local usr 以下の localに移動

12 ファイルを読む (less, more) $ cd /usr/local/chipseq/bowtie ファイルがあるところへ移動 $ less MANUAL (more MANUAL) ファイルの中身を 1 ページずつ読むことができるスペースで次ページ進む b で前ページに戻る q で less を終了するもっと基礎的な読むコマンドで cat というコマンドがあるしかし 1 ページずつ読めない cat はむしろ 2 つのファイルを結合したりするときに使える

13 ファイルコピー (cp) $ cp ( コピー元 ) ( コピー先 ) ( コピー元 ) を ( コピー先 ) にコピーする ( コピー元 ) ( コピー先 ) のパスは絶対パスでも相対パスでも良いコピー先にディレクトリを指定した場合そのディレクトリ内に同じファイル名でコピーされる $ cp /usr/local/chipseq/bowtie-1.0.0/manual ~/test/ /usr/local/chipseq/bowtie-1.0.0/ 以下の MANUAL という名のファイルをホームディレクトリ (~) の下の test ディレクトリ内にコピーする $cp -r ( コピー元ディレクトリ ) ( コピー先パス ) オプションに -r をつけるとディレクトリごとコピーも可能

14 移動 (mv) $ mv ( 移動元 ) ( 移動先 ) cpと同様で移動元にファイルが残らないファイル名変更用途に良く使う $ cd ~/test/ $ mv MANUAL bowtie-manual MANUALの名前をbowtie-MANUALに変更 Memo: ワイルドカードも使用可能 $mv *.out./test.out のつくファイルを./test に移動する Linux のほとんどのコマンドにワイルドカードは適応可能

15 削除 (rm) $ rm ( ファイル名 ) ( ファイル名 ) のファイルが削除される rm で削除されたものは復元できないので注意特にワイルドカードを使う時は要注意 $ rm * でファイルを全部消してしまうこともある

16 テキストエディタテキストを編集するテキストエディタは数種類あるそれぞれに特徴があり vi と emacs が 2 大エディタである vi(vim) どんな Linux マシンにも入っている慣れるまでは扱いづらい emacs これも昔から普及している若干クセ有 gedit...gui ベースで Windows のテキストエディタのように使えるコマンドラインだけでは使えない nano コマンドラインから扱える比較的簡単なテキストエディタ Ubuntu などでは標準エディタになっている

17 emacs の起動 $ emacs test.txt GUI で起動する $ emacs -nw test.txt コマンドラインで起動する Memo: 文字をマウスを使って左クリックしながら選択した後真ん中ボタンを押すとカーソルの位置に選択した部分がコピーされる Cntr+x Cntrl+s: 保存 Cntrl+x Cntrl+c: 終了

18 ファイルへの入出力出力リダイレクション $ echo "Hello World" > hello.out # 出力を別ファイルにしたい場合は出力のリダイレクション (>) で指定する $ less hello.out # 確認出力の追記 $ date >> hello.out # 元々あるファイルに追記する場合は (>>) で追記をする入力リダイレクション $ R < (Rのスクリプト) # 標準入力をファイルにすることも可能その時は (<) で行うパイプ $ date awk '{print $4}' # 最初のコマンドの結果を次のコマンドの入力として使う場合はパイプ ( ) を使う

19 フォアグランドジョブとバックグラウンドジョブフォアグランドジョブ $ sleep 30s これは 30 秒 sleep するコマンドだがこのプロセスが終了するまでこのシェルでは何もできない Cntrl+c でキャンセルできるバックグラウンドジョブ $ sleep 30s & ジョブがバックグラウンドに回っているのでプロセス自体は動いているがこのシェルは使用できる $ fg でフォアグランドに戻ってくるジョブをキャンセルするためには一度フォアグランドに戻すか kill コマンドなどで強制終了させる Memo: 更にログアウトしても計算を継続させたいときは nohup を使う $ nohup sleep 30s &

20 システム状況の表示 (top) ジョブ停止 (kill) $ top 現在のシステムの使用状況が見れるプログラムは知らせているときなどに確認する q で終了 k でプロセスを強制終了するモードに入る PID を入力するとそのプロセスが強制終了される $ kill (PID) でも同様に強制終了できるそれでもプロセスが残る時は -KILL のオプションをつける $ kill -KILL (PID)

21 その他良く使うコマンド Linux コマンドのマニュアルを見る $ man ls ls のマニュアルを見る正直 Google のお世話になることも多いファイルの圧縮解凍 tar, zip, unzip, gzip プリグラムソースなどは ~~.tar.gz という形式が多いこれは tar でまとめられ gzip で圧縮されている $ tar xvfz ~~.tar.gz で解凍展開できる

22 ソフトウェアのインストールから実行までプログラムのインストール MACS2 のソースからのインストール

23 プログラムのインストールパッケージを取得してインストール / アップデート ( 依存関係も自動でインストールできる ) (Red Hat 系 )$ yum install ( パッケージ名 ) (Debian 系 )$ apt-get install ( パッケージ名 ) パッケージ (rpm,deb) をダウンロードしてからインストール / アップデート (Red Hat 系 )rpm ファイルをダウンロードして $ rpm -ivh (rpm ファイル ) (Debian 系 )deb ファイルをダウンロードして $ dpkg -i (bed ファイル ) ソースファイルバイナリファイルからインストール圧縮ファイルであれば解凍展開し README や INSTALL などのファイルを参考にインストール作業を行う実行ファイルが提供されていることもあるその場合は即使える

24 パッケージの検索いろいろなソフトウェアをインストールしていると例えば xml2-config がないとかのエラーを吐いてインストールできないことがあるそのような場合はそれを含むパッケージをインストールする必要がある RPM 検索 ( や Ubuntu パッケージ検索 ( などを使ってパッケージを探しだしインストールする Google で検索するのもありです

25 MACS2 のソースからインストール先に INSTALL.rst を読んでおきましょうここからソースファイルをダウンロードできる

26 INSTALL.rst( 前半 ) numpy, cython が必要 yum や apt-get でインストール最新の Ubuntu13.10 なら MACS_ のパッケージがある

27 INSTALL.rst(Install from source) 管理者権限があれば何も設定しなくてもインストール可能後に出る PATH の設定も必要ないかもインストール先を指定する場合はこれ

28 MACS のバージョンを v2.0.9 に変更 ( ここの環境に対応 ) master のボタンを押し Tags のタブを選択し v2.0.9 を選択

29 MACS2 v2.0.9 をダウンロード ( ここの環境に対応 ) 先に INSTALL を読んでおきましょうここからソースファイルをダウンロード

30 MACS2 インストール 1 ホームディレクトリに戻る $ cd programs のディレクトリ更にその下に macs2 をインストールするディレクトリを作っておく $ mkdir programs $ cd programs $ mkdir macs2 programs のディレクトリに MACS のソースを移動する $ mv ~/ ダウンロード /MACS-master.zip ~/programs/ Zip 形式のファイルは unzip で解凍できる $ unzip MACS-master.zip Memo: 現在いる場所が分からなくなった場合は ls や pwd で確認するシェルが 1 枚で足りない時は増やす Shift+Cntrl+N でも増やせる基本常時 2,3 枚以上は出している

31 MACS2 インストール 2 MACS-master ディレクトリ内に解凍されているのでその中に入る $ cd MACS-master その中に setup.py があるはずなのでインストールディレクトリを --prefix で指定してインストール $ python setup.py install --prefix ~/programs/macs2/ インストールが完了したら確認に ~/programs/macs2/ へ移動 $ cd ~/programs/macs2/ その中に bin と lib のディレクトリができているはず bin の中に実行ファイルが lib の中に必要なライブラリが入っている

32 環境変数 PATH の設定すべてのプログラムの実行ファイルは直のパスを入力すれば実行可能である先ほどインストールした MACS2 も $ ~/programs/macs2/bin/macs2 とすれば実行できる ( 現状では Import Error とか出ているのは別の問題 ) PATH を通せばフルパスを入れなくても実行ファイルの名前だけで実行できるようになる現状の PATH の通っているパスを確認 $ echo $PATH MACS2 の実行ファイルがある場所にパスを追加 $ export PATH=$PATH:~/programs/macs2/bin/ PATH が追加されていることと macs2 の実行の確認 $ echo $PATH $ macs2

33 PYTHONPATH の設定 (MACS2 特有 ) PYTHONPATH を設定 $ export PYTHONPATH=~/programs/macs2/lib/pyth on2.6/site-packages:$pythonpath これでエラーなく macs2 が走るか確認 $ macs2 --help さっき設定した

.bashrc への環境変数設定の追記先ほど設定した環境変数はシェルを閉じると設定はなくなるシェルを開くときに読み込まれている設定ファイルが.bashrc であるその中に先ほどの MACS2 の環境変数設定を書き込んでおくと次回シェルを開いた時も設定が反映されるホームディレクトリに戻る $ cd ls -a で.

34 .bashrc への環境変数設定の追記先ほど設定した環境変数はシェルを閉じると設定はなくなるシェルを開くときに読み込まれている設定ファイルが.bashrc であるその中に先ほどの MACS2 の環境変数設定を書き込んでおくと次回シェルを開いた時も設定が反映されるホームディレクトリに戻る $ cd ls -a で.( ドット ) 付の隠しファイルも見える $ ls -a $ emacs -nw.bashrc.bashrc の一番下に環境変数の設定 (export から始まる 2 つ ) を追記して保存する export PATH=$PATH:~/programs/macs2/bin/ export PYTHONPATH=~/programs/macs2/lib/python2.6/site-packages:$PYTHONPATH

35 次の演習用の PATH これを ~/.bashrc の最後に付け加えて保存してください #MACS2 #export PATH=$PATH:/usr/local/chipseq/bin/ #export PYTHONPATH=$PYTHONPATH:/usr/local/chipseq/lib64/python2.6/site-packages/ #FastQC export PATH=$PATH:/usr/local/chipseq/FastQC/ コメント (#) 部は読まれません MACS2 が自前ではうまくインストールできなかった人は MACS2 のコメントを外してください #bowtie export PATH=$PATH:/usr/local/chipseq/bowtie-1.0.0/ #bowtie2 export PATH=$PATH:/usr/local/chipseq/bowtie / #samtools export PATH=$PATH:/usr/local/chipseq/samtools / export PATH=$PATH:/usr/local/chipseq/samtools /bcftools export PATH=$PATH:/usr/local/chipseq/samtools /misc #sratoolkit export PATH=$PATH:/usr/local/chipseq/sratoolkit centos_linux64/bin/

36 応用 : 便利な Linux コマンド

37 文字列取り出し (grep) #sample file Download $ wget " $ less sample.xls # 確認 #chrxだけを抜き出す $ grep "chrx" sample.xls # 出力を別ファイルにしたい場合は出力のリダイレクション (>) で指定する $ grep "chrx" sample.xls > sample_chrx.xls # 複数ファイルを同時に検索もできる $ grep "chrx" *

38 パターン処理言語 (awk) #1,2,3 列目だけ表示 $ awk '{print $1,$2,$3}' sample.xls #4 行目が1000 以上のものだけ表示 $ awk '$4 >= 1000{print $0}' sample.xls #grepと同様な使い方:chrxがあるものを表示 $ awk '/chrx/{print $0}' sample.xls #1 列目がchr1かつ3 列目が500 以上 $ awk '$1 == "chr1" && $4 >= 500{print $0}' sample.xls #6 列目の和を計算 $ awk '{count += $6}END{print count}' samle.xls

39 並び替え (sort) ダブリの検出 (uniq) $ sort sample.xls #sort で並び替えができる (-n) のオプションで数値順にもできる $ sort +3-4 sample.xls #3 列飛ばして (+3) 4 列目まで (-4) つまり 4 列目だけでソートする $ uniq sample.xls # 連続して同じ行があるとその行が削除されユニークな行だけのこる $ sort sample.xls uniq #uniq は連続しているもののみが対象なので sort で並び替えたものを uniq すると全体の中からユニークな行を抽出できる $ awk '{print $1}' sort uniq # awk で 1 行目 (chr 名 ) だけにして sort し uniq することで含まれている chr 名だけをリストアップできる

40 シェルスクリプト $ emacs script.sh script.sh #!/bin/sh ls date $ sh script.sh # 連続した操作をテキストファイルに記述し実行すればそのスクリプトに書かれていたコマンドが連続して実行される Bowtie して MACS2 してとか先にシェルスクリプトを記述して実行させた方が楽

再起動した状態になりパスワードを入力すると図 2 のように DEXCS2011 のアイコンがデスクトップ上に表示される 2 端末を準備するメニューバーにある端末の形を左クリック図 2 デスクトップメニューバーに端末の形がない場合図 3 メニューバーアプリケーションアクセサリー端末

再起動した状態になりパスワードを入力すると図 2 のように DEXCS2011 のアイコンがデスクトップ上に表示される 2 端末を準備するメニューバーにある端末の形を左クリック図 2 デスクトップメニューバーに端末の形がない場合図 3 メニューバーアプリケーションアクセサリー端末 OpenFOAM の使い方準備編目次 DALAB 鍔田 12/7/14 1. DEXCS2011 をインストール 2. OpenFOAM-2.1.1 を DEXCS に導入する 3. 例題を実行する 4. ParaView でのマウスによる操作方法 5. Tab キーの活用 6. 講習に使用するファイルのダウンロードこの構築は Windows7(64bit メモリ :4GB) のパソコン上の仮想マシン