NGSハンズオン講習会

Transcription

1 版配布する USB メモリ中の hoge フォルダをデスクトップにコピーしておいてください 貸与 PC は デスクトップに下記内容のものがあることを確認しておいてください NGS ハンズオン講習会 Linux 基礎 東京大学 大学院農学生命科学研究科アグリバイオインフォマティクス教育研究プログラム門田幸二 ( かどたこうじ ) kadota@iu.a.u-tokyo.ac.jp

2 Linux 基礎では 7/4 以降で用いるデータのコピーやプログラムのインストール作業 乳酸菌学会誌連載第 4 回のウェブ資料 W7- 以降の内容が中心 受講人数は 7/0 頃 7/6 頃 7 月 日 ( 水 ):84 83 名 Bio-Linux 8 と R のインストール状況確認 基本自習 ( 門田 寺田先生 ) 7 月 3 日 ( 木 ):9 90 名 Linux 基礎 Linux コマンドなど UNIX の基礎の理解 ( 門田 ) 7 月 4 日 ( 金 ):85 83 名 スクリプト言語 シェルスクリプト ( アメリエフ株式会社服部恵美先生 ) 7 月 7 日 ( 月 ):93 9 名 スクリプト言語 Perl( アメリエフ服部先生 ) 7 月 8 日 ( 火 ):9 90 名 スクリプト言語 Python( アメリエフ服部先生 ) 7 月 9 日 ( 水 ):94 88 名 データ解析環境 R( 門田 ) 7 月 30 日 ( 木 ):96 9 名 データ解析環境 R( 門田 ) 8 月 3 日 ( 月 ):89 84 名 NGS 解析 基礎 ( アメリエフ山口昌雄先生 ) 8 月 4 日 ( 火 ):85 80 名 NGS 解析 ゲノム Reseq 変異解析 ( アメリエフ山口先生 ) 8 月 5 日 ( 水 ):86 8 名 NGS 解析 RNA-seq 統計解析 ( 前半 : 山口先生 後半 : 門田 ) 8 月 6 日 ( 木 ):04 98 名 NGS 解析 ChIP-seq( 理研森岡勝樹先生 ) 8 月 6 日 ( 水 ):3 3 名 NGS 解析 基礎 ( アメリエフ山口昌雄先生 ) 8 月 7 日 ( 木 ):4 4 名 NGS 解析 ゲノム Reseq 変異解析 ( アメリエフ山口先生 ) 8 月 8 日 ( 金 ):6 6 名 NGS 解析 RNA-seq 統計解析 ( 前半 : 山口先生 後半 : 門田 )

3 失敗してもたぶん大丈夫! 7/ までの環境構築済みの ova ファイル HDD50GB の推奨手順通りのもの ( 約 4.GB) HDD50GB の推奨手順通りのもの ( 約 4.3GB) 7/3 までの環境構築済みの ova ファイル HDD50GB の推奨手順通りのもの ( 約 5.GB) HDD50GB の推奨手順通りのもの ( 約 4.5GB) Bio-Linux8 オリジナルの iso ファイル ( 約 3.5GB) iso ファイルからの Bio-Linux8 のインストールは 時間程度かかりますが 7/ および 7/3 までの BioLinux8 環境を構築済みの ova ファイルを USB メモリで何通りか用意しています それは 0 分程度で導入可能です 貸与 PC はダウンロードフォルダ中にあります hoge はデスクトップへ のように見えます 3 の中から必要に応じて ova ファイルを導入 USB メモリ の中身 3 3

4 Linux( コマンド ) 習得の意義 ほぼ全てのデータ解析のボトルネックが自分 クラウドベースの Linux-free な方法では実装されていない新しい解析プログラムをサクサクインストールして利用 インストール済みプログラムのバージョンアップも可能 簡単な動作確認ができる grep コマンドを駆使して (00% 一致の k-mer 出現頻度などの ) 解析結果を検証 ( 乳酸菌学会誌連載第 4 回の W-9) 複数のインデックスを含むアダプター配列の検索を正規表現で一挙に検索 (W-) シェルスクリプト Perl Python R は Linux 上でも動く 合わせ技で自在に解析 要素技術 ( 例えば Perl) の基本スキルがあれば 多少のエラーへの対処が可能 プログラミング言語習得の意義 FastQC (ver. 0..3) のような非常に有名なプログラムにもバグ (-- nogroup オプションをつけない K- mer Content 結果など ) がある 一般にリリース直後のプログラムや新規機能にはバグが多少なりとも存在する 複数のオプションや別のプログラムで同様の解析を行うなどして Linux 上で効率的に解析し 徹底的に動作確認するのが基本 IGV で眺めることも 4

5 Contents テストデータ取得 wget の場合 ドラッグ & ドロップの場合 共有フォルダ経由の場合 Integrative Genomics Viewer (IGV) のインストール 7/3 不参加者は wget 7/3 参加者は共有フォルダ経由 日本乳酸菌学会誌の NGS 連載第 4 回の W7- 以降 FastQC (ver. 0.0.) preinstalled in Bio-Linux 8 FastQC (ver. 0..3): ダウンロード 解凍 正規表現 FastQC (ver. 0..3): パスを通す FastQC ver と ver の違い Genome Analysis Toolkit (GATK) の取得 5

6 ターミナル起動 アメリエフ様 ( 山口先生 服部先生 ) 担当部分で用いるデータ (zip 圧縮ファイル ) をゲスト OS のデスクトップに置き 解凍します BioLinux8 を起動 貸与 PC の BioLinux8 のパスワードは pass409 ターミナルを起動 6

7 pwd, ls Linux コマンドおさらい pwd はカレントディレクトリ ( 作業フォルダ ) を表示 ユーザ名が iu の場合は /home/iu と表示される ログイン直後は ホームディレクトリ が カレントディレクトリ となる ls はディレクトリの内容を表示させるコマンドだった ここで見えているものはディレクトリ ( フォルダ ) だけであるが ヒトによって見えるものは若干異なる 7

8 cd cd コマンドで Desktop に移動 (change directory) ls 実行結果はヒトによって若干異なるだろう ここ (/home/iu/desktop) にファイルがあったり 以前作成した別名のディレクトリがあるかもしれないからである 3mac_share という名前の共有フォルダも見られる 3 8

9 wget wget コマンドでアグリバイオウェブサーバ上に置いてある amelieff.zip をダウンロードするやり方 9

10 wget ホスト OS( ここでは Windows7) 上のウェブブラウザ IE を開き 一連のコマンドをコピー 0

11 基本は右クリック ホスト OS( ここでは Windows7) 上のウェブブラウザ IE を開き 一連のコマンドをコピー 右クリックでペースト

12 wget -c や -q オプション リターンキーを押す -c は失敗しても続きからダウンロードする (continue) ためのおまじない的なオプション 連載原稿中では -q も用いているが これは単に途中経過を表示させない (quiet) ようにするオプション

13 ダウンロード正常終了の場合 終了後の状態 5 3

14 clear で画面リフレッシュ 画面をリフレッシュすべく clear CTRL + L でもよい 4

15 clear 実行後 こんな感じになるはず 5

16 ls -l 今自分がどこで作業をしていて (pwd) そこに何があるか (ls) は ときどき無意識に打つようにして把握するように努めましょう 3 ls -l とすることで詳細情報が見られる 3 6

17 ls l 結果の読み取り方 ダウンロードした zip ファイルが見られる ファイルサイズは 40,445,66 bytes 3 これはディレクトリではないので - 3 7

18 ls -la ls -la とすることで. ( どっと ) から始まるファイルなどを含んだ詳細情報が見られる 8

19 ターミナル横幅次第で ls だけだと Bio-Linux Documentation が つのディレクトリからなると勘違いしそうになるが ls la などとすることで つのディレクトリであることが確認できる ターミナルの横幅次第で 行にわたって見える このあたりは慣れ 9

20 ls -lh ls -lh とすることでヒト (human) が判読しやすい表示形式になる amelieff.zip は 39MB だということ 3 赤枠内を眺めることで ファイル (-) ディレクトリ (d) シンボリックリンク (l) などを判読可能 3 0

21 メニューバー 赤枠部分にカーソルを移動させるとメニューバーが見られる この状態は ゲスト OS 内で全画面表示でターミナルを開いているのと同じです

22 ターミナル画面の移動 終了 下のほうに移動させることができる ターミナルを閉じたいときは ボタンを押してもいいし 3exit でもよい 3

23 rm でファイル削除 ネットワークの不調などで wget で取得できない局面がよくある 別の方法を示すべく 一旦 amelieff.zip ファイルを rm コマンドで削除 -f オプションをつけると問合せをしてこない ( 赤四角 ) ls で消えていることを確認 3

24 Contents テストデータ取得 wget の場合 ドラッグ & ドロップの場合 共有フォルダ経由の場合 Integrative Genomics Viewer (IGV) のインストール 7/3 不参加者は wget 7/3 参加者は共有フォルダ経由 日本乳酸菌学会誌の NGS 連載第 4 回の W7- 以降 FastQC (ver. 0.0.) preinstalled in Bio-Linux 8 FastQC (ver. 0..3): ダウンロード 解凍 正規表現 FastQC (ver. 0..3): パスを通す FastQC ver と ver の違い Genome Analysis Toolkit (GATK) の取得 4

25 ドラッグ & ドロップ戦略 ホスト ゲストは ドラッグ & ドロップでファイルのコピーが可能 ターミナル画面を最小化してデスクトップが見られるようにする 5

26 ドラッグ & ドロップ戦略 ホスト OS(Windows) 上ではこんな感じに見えます デスクトップ上にある hoge フォルダ中に amelieff.zip があるので それを 3 ゲスト OS のデスクトップにドラッグ & ドロップ 3 6

27 ドラッグ & ドロップ戦略 無事コピーできたことがわかります 7

28 ドラッグ & ドロップ戦略 ターミナル画面上で確認すべく ターミナルアイコンを一回押すと 最小化されていたターミナルが復帰されます 8

29 ドラッグ & ドロップ戦略 4 コピー前と コピー後 確かに amelieff.zip が存在することがわかる 3pwd で一応カレントディレクトリを表示させているが 4 や 5 を見れば自分の現在地がわかる 3 5 9

30 ドラッグ & ドロップ戦略 一旦ターミナルを最小化してもいいし しなくてもよい 引出しアイコンをクリックしてデスクトップにたどり着くやり方を示す 30

31 ドラッグ & ドロップ戦略 こんな感じになります デフォルトの場所はホームディレクトリ /home/iu の場所で ls した結果と同じものが見えています ターミナル画面と同様 赤枠部分にカーソルを移動させるとメニューバーが現れるので 下のほうに移動させてみる 3

32 ドラッグ & ドロップ戦略 こんな感じになります 後ろに隠れているのはターミナル画面 クリックすればアクティブになる 3

33 ドラッグ & ドロップ戦略 こんな感じになります 33

34 ドラッグ & ドロップ戦略 画面サイズを小さくして CTRL + L で画面をリフレッシュ 34

35 ドラッグ & ドロップ戦略 画面サイズを小さくして CTRL + L で画面をリフレッシュ 35

36 cd.. つ上の階層のディレクトリに移動するのは cd.. この場合はホームディレクトリへの移動が目的なので cd のみでもよい 3 同じものが見えていることがわかる 3 36

37 GUI 画面上での操作 Desktop をダブルクリックで開く 37

38 GUI 画面上での操作 この部分で階層構造がわかる pwd 実行結果と同じようなものが常に表示されているイメージ 特に詳細に指示されていなくても この部分をみて自分で適切にフォルダ移動できるようになりましょう もちろん GUI 画面上でもファイルのコピーや削除などができます 38

39 GUI 画面上での操作 amelieff.zip の GUI 画面上での削除 ( 正確にはゴミ箱への移動 ) 法 右クリックで Move to Trash 39

40 GUI 画面上での操作 zip ファイルが ゴミ箱に移動したのがわかる 40

41 Contents テストデータ取得 wget の場合 ドラッグ & ドロップの場合 共有フォルダ経由の場合 Integrative Genomics Viewer (IGV) のインストール 7/3 不参加者は wget 7/3 参加者は共有フォルダ経由 日本乳酸菌学会誌の NGS 連載第 4 回の W7- 以降 FastQC (ver. 0.0.) preinstalled in Bio-Linux 8 FastQC (ver. 0..3): ダウンロード 解凍 正規表現 FastQC (ver. 0..3): パスを通す FastQC ver と ver の違い Genome Analysis Toolkit (GATK) の取得 4

42 共有フォルダ 連載原稿手順通りだと ゲスト OS の ~/Desktop/mac_share の中身は ホスト OS の Desktop にある share フォルダと同じ 4

43 共有フォルダ ここでは何も見えていないが ヒトによっておそらく異なる 重要なのは 何が入っているかではない 43

44 共有フォルダ 重要なのは ホスト OS のデスクトップにある share フォルダの 中身と 3 ゲスト OS の ~/Desktop/mac_share の中身が同じだということ 3 44

45 共有フォルダ ホスト OS のデスクトップにある hoge フォルダ中の amelieff.zip を 3share フォルダにコピー ( そのまま移動させるのでもよい ) 3 45

46 共有フォルダ コピー後の状態 ホスト OS 上では share フォルダ中に amelieff.zip が見られるが ゲスト OS 上では特に変化なし 46

47 共有フォルダ ウェブブラウザのリロードみたいなことをすればいいのだろうと思い 表示形式を変更するボタンを押すと無事見られた 47

48 共有フォルダ ターミナル画面上でも見られるようになっています 画面をリフレッシュすべく clear 48

49 共有フォルダ ~/Desktop/mac_share に移動して amelieff.zip がターミナル上でも見られることを確認しているだけです 全画面表示にしておきましょう 49

50 デスクトップに移動 amelieff.zip を つ上のディレクトリに mv で移動 タブ補完を有効利用してますよね? 50

51 unzip で解凍 カレントディレクトリも つ上に移動し unzip コマンドで解凍 5

52 unzip で解凍 実行結果 5

53 確認 amelieff ディレクトリが作成されているのがわかります 53

54 確認 このように見えていれば OK ホスト OS からゲスト OS だけでなく ゲスト OS からホスト OS へのファイルの移動も共有フォルダ経由で可能 使い慣れたホスト OS 環境を有効利用して効率的に解析を行おう 54

55 Contents テストデータ取得 wget の場合 ドラッグ & ドロップの場合 共有フォルダ経由の場合 Integrative Genomics Viewer (IGV) のインストール 7/3 不参加者は wget 7/3 参加者は共有フォルダ経由 日本乳酸菌学会誌の NGS 連載第 4 回の W7- 以降 FastQC (ver. 0.0.) preinstalled in Bio-Linux 8 FastQC (ver. 0..3): ダウンロード 解凍 正規表現 FastQC (ver. 0..3): パスを通す FastQC ver と ver の違い Genome Analysis Toolkit (GATK) の取得 55

56 ダウンロード 日本乳酸菌学会誌の連載第 4 回ウェブ資料 W8 と基本的に同じです IGV のインストール手順を示します Registration をしてから Downloads 7/3 参加者はダウンロード済みの zip ファイルが hoge フォルダ中にあります 56

57 ダウンロード Download Binary Distribution をダウンロードすべく 右クリックで ショートカットのコピー などで URL 情報を取得 57

58 7/3 不参加者 wget コマンドを用いて zip ファイルのダウンロード リターンキーを押す 約 30MB です たとえ Downloads ディレクトリ中に赤枠内のような今は無関係のものが見えていても気にしない 門田の環境では これらを既にインストールしているので見えているだけです 58

59 7/3 不参加者 ダウンロード途中経過 59

60 7/3 不参加者 この環境では ダウンロードに 3 秒かかったことがわかる IGV_.3.57.zip は約 9MB 60

61 7/3 参加者 ホスト OS のデスクトップにある hoge フォルダ中の IGV_.3.57.zip を 3 ゲスト OS の ~/Downloads にドラッグ & ドロップ 3 6

62 7/3 参加者 ( 駐車禁止マークが出るなどして ) うまくドロップできないときもあります つの対策は左右を入れ替えること それでもうまくいかない場合は 一旦再起動 それでもだめなら3 共有フォルダ経由などで どうにか迂回路を駆使してください 3 6

63 7/3 参加者 ただの確認です 63

64 解凍 zip 圧縮ファイル (IGV_.3.57.zip) を解凍 3IGV_.3.57 というディレクトリが作成されていることがわかります 3 64

65 igv.sh が実体だが ~/Downloads/IGV_.3.57 に移動 この中の igv.sh が IGV の実体 実行権限も付与されているので chmod 755 igv.sh は必要ない しかし 3igv.sh と打っても実行されない その理由は パスが通ってないから 3 65

66 パスを通す igv.sh のシンボリックリンクを /usr/local/bin に置く パスワードを聞かれたら ログインパスワード (pass409) を打ち込む 66

67 パスを通す 3 sudo ln s 後に もう一度 igv.sh と打つと いろいろメッセージが表示される 3 もし再び command not found となったら rehash というコマンドを打ってからもう一度 igv.sh とやればうまくいくだろう rehash は 設定変更 ( この場合シンボリックリンク ) を現在開いているターミナル上で反映させるためコマンドです ウェブブラウザのリロードのようなものです 67

68 IGV 起動と終了 こんな感じで IGV が起動すれば OK を押して閉じる 68

69 IGV 終了後 コマンド入力待ち状態になっているはずです 69

70 パスを通す意味 どのディレクトリ上からでも igv.sh を実行できるようにしたいがためにパスを通すのです の場合は カレントディレクトリ ( 作業ディレクトリ ) 上に igv.sh があるので あまり説得力はありません ( 爆 ) 70

71 パスを通す意味 igv.sh がカレントディレクトリ上にないところ ( 例えば の ~/Desktop) で igv.sh を実行してみると より納得できるでしょう 7

72 Contents テストデータ取得 wget の場合 ドラッグ & ドロップの場合 共有フォルダ経由の場合 Integrative Genomics Viewer (IGV) のインストール 7/3 不参加者は wget 7/3 参加者は共有フォルダ経由 日本乳酸菌学会誌の NGS 連載第 4 回の W7- 以降 FastQC (ver. 0.0.) preinstalled in Bio-Linux 8 FastQC (ver. 0..3): ダウンロード 解凍 正規表現 FastQC (ver. 0..3): パスを通す FastQC ver と ver の違い Genome Analysis Toolkit (GATK) の取得 7

73 データ解析の全体像 FastQC はこのあたりで使うものです FastQC (ver. 0.0.) は Bio-Linux8 にプレインストールされています 73

74 FastQC: 初期状態 W7- スタート地点 作業ディレクトリは ~/Documents/srp0756 この つのファイルがあれば基本 OK ここでは gzip 圧縮ファイル (.gz) になっているが.bz や非圧縮ファイルも試してみるとよい 74

75 W7- 間違ってもあせるな 想定外の状態になってしまった場合の対処法 fastqc と打ってから 間違ってそのままリターンキーを押すと 右下のような画面になってしまう この状態から脱出するには 75

76 間違ってもあせるな W7- この状態から脱出するには File - Exit 右下は復帰後のターミナル画面 76

77 fastqc W7- 基本的な使い方は fastqc 任意のファイル名 SRR まで打ってから Tab キーを押すなどのタブ補完を利用するのも一つだが 他のやり方として 入力したいファイル名を反転させ 右クリックでコピー 右クリックでペースト というのも一般的です 77

78 fastqc W7- 基本的な使い方は fastqc 任意のファイル名 SRR まで打ってから Tab キーを押すなどのタブ補完を利用するのも一つだが 他のやり方として 入力したいファイル名を反転させ 右クリックでコピー 右クリックでペースト というのも一般的です 78

79 fastqc 実行 W7-3 リターンキーを押した後の状態 約 0 秒 79

80 fastqc W7-4 ls -lh 実行結果 赤枠部分が fastqc コマンドで作成されたもの つは SRR6668sub fastqc という名前のディレクトリ もう つはその zip 圧縮ファイル ls lh SRR6668sub_* 実行結果 ls lh 実行時にディレクトリも指定していることになるので 4 ディレクトリの中身をリストアップしている

81 fastqc -h W7-5 プログラムのマニュアルを眺めるのは パスが通っていれば基本的にどのディレクトリ上で行ってもよい fastqc -h と打ってリターン 8

82 fastqc -h W7-5 マニュアルが一気に表示されて何が何だかわからない ( 爆 ) そういうときはパイプ ( ) で less や more に流し込む ここでは less を用いる例を示す 上矢印キーを有効利用! 8

83 fastqc -h W7-5 この状態は fastqc のマニュアルページを less で眺めていると解釈すればよい 基本的に 上下矢印キーでページをスクロール 83

84 fastqc -h W7-5 進捗状況を非表示にしたい場合は -q オプションをつければよさそうであることが分かる (END) となったら 下矢印キーで一番下まできた状態であることを示す この状態から抜けるには q キーを押せばよい 84

85 fastqc -h W7-5 less から抜け出した状態 このように ちょっとした場面で様々な Linux コマンドを駆使して合理的に作業を行うのが一般的 基本的なコマンドを使いこなせないと対処法を思いつかない 数日程度で習熟できるものではなく 数週間程度はかかるのが一般的 85

86 fastqc -q W7-6 -q オプションをつけて fastqc を実行 確かに W7-3 と違って進捗状況を非表示にできていることがわかる 赤枠のように実行結果として ディレクトリ と 同じ内容の zip ファイル がちゃんと生成されている このようにしてオプション利用の幅を広げていく 86

87 Tips: ls -d W7-7 W7-4 や で示すように ls lh だと *fastqc* 中にディレクトリを含む場合には ディレクトリの中身まで表示される ディレクトリもファイルと同じように表示したい場合は d オプションをつければよい 87

88 Tips: rm -f W7-7 おさらい rm コマンドの -f は 消してよいかを問い合わせる警告メッセージを表示しない というオプション rm f ではディレクトリは削除できない 88

89 Tips: rm -rf W7-7 ディレクトリの削除は -r オプションをつける 89

90 シェルスクリプト W7-8 7/4 のシェルスクリプトの基本形を示す wget でファイルをコピー ホスト ゲスト 間でのコピペがうまくいかない場合は 共有フォルダを使うなり ゲスト OS のウェブブラウザを使うなり個別対処! でエラーが出ていなければ 3 のファイルが作成されるはず 3 90

91 chmod で権限変更 W7-8 実行権限が付与されていない場合は chmodで付与しておく 9

92 more で確認 W7-8 more はファイルの中身を表示 赤枠が JSLAB4 Linux.sh の中身 データを取得した大元の DDBJ の URL や どのようにサブセットを抽出してきたのかが分かる 9

93 sh で実行 W7-8 シェルスクリプトの実行 実際に実行されるのは 行頭に # がついていない赤枠部分のみ 3 実行結果として生成されるもの

94 cp -r W7-9 ディレクトリごとコピーしたい場合は -r オプションをつけて実行 次のスライドが説明 94

95 cp -r W7-9 SRR6668sub fastqc ディレクトリを 共有フォルダ (~/Desktop/mac_share) にコピーしている 95

96 W7-9 共有フォルダのおかげで ゲスト OS 上で作業をする苦行から少しでも解放されるのでステキ 96

97 共有フォルダのおかげで W7-9 コマンドライン環境から少しでも解放されたいヒトはこちら ただ そういうヒトはLinuxではなくGalaxyなどのLinux-free?! 系をお勧めします 97

98 バージョン 3 W7-0 同じプログラム名 ( この場合 FastQC) でも 様々なバージョンが存在する コマンド名 -v でバージョン情報を見られる場合が多い FastQC の場合は 小文字でも 大文字でもどちらでも同じ結果になる このバージョン情報 (FastQC ver. 0.0.) は忘れずに論文中に記載しましょう もし -V or v のいずれでもうまく表示されない場合は 3 man コマンド名 または 4 コマンド名 -h でマニュアル中のバージョン情報表示法を調べる 4 98

99 W8- FastQC ver FastQC (ver. 0.0.) 実行結果 (html レポート ) を眺めることで 総リード数や全体的なクオリティ アダプター配列やプライマー配列の混入状況などを様々な角度から概観できる 詳細は 8/3 以降の講習会で予定 7/30 の R でも少し触れるかも 99

100 FastQC ver W8- 例えば Kmer_Content の項目はこんな感じ 00

101 最新版は 0..3 W9- FastQC のウェブサイトの場合 ページ下部の Changelog を眺めると リリースされたバージョンの歴史をたどることができる 05 年 7 月 5 日現在の FastQC プログラムの 最新版は ver Bio-Linux8 にプレインストールされている ver 以降 下記のような 新機能やバグ修正がなされている 0

102 Contents テストデータ取得 wget の場合 ドラッグ & ドロップの場合 共有フォルダ経由の場合 Integrative Genomics Viewer (IGV) のインストール 7/3 不参加者は wget 7/3 参加者は共有フォルダ経由 日本乳酸菌学会誌の NGS 連載第 4 回の W7- 以降 FastQC (ver. 0.0.) preinstalled in Bio-Linux 8 FastQC (ver. 0..3): ダウンロード 解凍 正規表現 FastQC (ver. 0..3): パスを通す FastQC ver と ver の違い Genome Analysis Toolkit (GATK) の取得 0

103 インストール W9- Changelog よりも の Release Notes が一般的かもしれません 3 基本的には ここを見ながら自力でインストールします リンク先のマニュアルをざっと眺めても 現時点でも chmod などいくつかのコマンドや相対パスの意味は分かるようになっているでしょう 3 03

104 インストール W9- Linux 上でのプログラムのインストール作業は このプログラムを実行するためにはこれが必要で という前もって必要な事柄 (prerequisite) やプログラムの依存関係 (dependency) との格闘 以下は ターミナル上で java -version と打ち込み java が入っていること および 3 バージョンが.5 以上であることを確認せよ と読み取る 3 04

105 java -version W9- 作業ディレクトリはどこでもよいので java -version と打ち込み java が入っており そのバージョンが.5 以上 (ver..7.0_79) であることを確認 ヒトによって 多少バージョン番号が違うかもしれないが条件さえ満たしていれば問題ない 05

106 ダウンロード W9- zip ファイルの URL 情報を で取得 3 Downloads ディレクトリで作業を行う wget c と打ち込んだ後に 4 コピーした URL 情報をペースト 5ls lh で確認 zip ファイルは約 0MB 7/3 参加者はホスト OS のデスクトップにある hoge フォルダ中に fastqc_v0..3.zip があるので ドラッグ & ドロップ か 共有フォルダ経由 でサクッとやりましょう

107 ダウンロード W9- ドラッグ & ドロップ でサクッとやる場合 何度かヤラレタ経験があるかもしれませんが ゲスト OS の赤枠付近を通ってドラッグ & ドロップしようとすると 移動中に画面が遷移してうまくいかない場合があります そういう場合は そこを通らないようにうまくやりましょう 例えば のように右から左といった具合 07

108 unzip -q W9- ( 余分な ) 進捗状況を非表示にして (-q オプションをつけて )zip ファイルを解凍する unzip コマンドを実行 FastQC というディレクトリが作成されていることが分かる 3 このディレクトリ中の fastqc が実行コマンド 3 08

109 解凍後の作業 W9- 解凍後の作業は chmod で実行権限を付与さえすればよいようだ これが You may need to make this file executable に相当 3 09

110 chmod 755 W9- 実行権限を付与して ( その前後で ) 確認しているだけです 0

111 chmod 755 W9- もし打ち間違えて chmod 666 fastqc などとしちゃったとしても もう一度 chmod 755 fastqc と打てばよい 最終的に 赤枠のように rwxr-xr-x のようになっていればよい

112 パス ( のイントロ ) W9-3 実行権限を付与した後に fastqc のバージョン情報を表示すると Bio-Linux 8 にプレインストールされている FastQC (ver. 0.0.) のままとなっている [W7-0]

113 パス ( のイントロ ) W9-3./fastqc -v とやると カレントディレクトリ (.) 中にある最新版の fastqc コマンドが実行される これは一種の相対パス指定でのコマンド実行に相当 3 /home/iu/downloads/fastqc/fastqc と絶対パス指定にしてもよいし 4 ホームディレクトリ (~) からの相対パス指定でもよい 3 4 3

114 パス ( のイントロ ) W9-3 但し 通常の作業ディレクトリは ~/Downloads/FastQC ではない そのため の./fastqc -v は非現実的 3 4 4

115 バージョンの違い W9-3 ここの目的は FastQC の ver と 0..3 では 出力結果が異なることを示すこと まずは実行結果のおさらい 以前の作業ディレクトリに移動し 入出力ファイル群をリストアップ 5

116 正規表現 W9-3 このとき タブ補完時に分かるが SRR6668sub_ 以降で複数の可能性が存在 これを全て表現するのが * 6

117 正規表現 W9-3 の実行結果中 赤枠のものが FastQC ver 実行結果 ver を実行してどのような出力結果が得られるか知りたいので 赤枠のもののみ一旦削除したい 7

118 正規表現 W9-3 削除したいもの と 残したいもの の違いは ピンク色部分あたり これらの違いをうまく利用して 赤枠の削除したいものを表現する 8

119 正規表現 W9-3 3 の _ と. の違いをうまく利用するやり方が

120 正規表現 W9-3 5 の c と. の違いをうまく利用するやり方が

121 rm -rf W9-3 rm で ディレクトリも含めて (-r) 消していいか聞くことなく (-f) SRR6668sub_*_* という条件を満たすファイル群を消去 この種のテクニックは 特にファイル数が多い場合に威力を発揮する

122 FastQC ver W9-3 FastQC ver. 0..3の実行コマンド (~/Downloads/FastQC/fastqc) で再度 FastQCを実行 -qは途中経過を表示させないようにするオプション つけてもつけなくてもよい この段階でFastQC ver. 0..3を最低限動かせる状態までたどり着いたことになる

123 W9-3 FastQC ver それが マニュアルの の部分に相当./fastqc が通用するのは 作業ディレクトリが ~/Downloads/FastQC の場合に限定されることも 今ならわかるだろう 3

124 FastQC ver W9-3 FastQCのver. 0.0.とver. 0..3では 出力形式が異なっていることがわかる 4

125 Contents テストデータ取得 wget の場合 ドラッグ & ドロップの場合 共有フォルダ経由の場合 Integrative Genomics Viewer (IGV) のインストール 7/3 不参加者は wget 7/3 参加者は共有フォルダ経由 日本乳酸菌学会誌の NGS 連載第 4 回の W7- 以降 FastQC (ver. 0.0.) preinstalled in Bio-Linux 8 FastQC (ver. 0..3): ダウンロード 解凍 正規表現 FastQC (ver. 0..3): パスを通す FastQC ver と ver の違い Genome Analysis Toolkit (GATK) の取得 5

126 パス W9-4 の結果を眺め Bio-Linux 8 にプレインストールされている fastqc コマンドの実体はどこか? なぜ (ls や pwd のような基本コマンドと同様 ) どのディレクトリ上でも fastqc コマンドを打つと FastQC (ver. 0.0.) が実行されるのかが気になる これがパスの概念を知るスタート地点 6

127 パス W9-4 コマンドを実行するプログラムの場所を知りたい場合には whereis コマンド名 3 which コマンド名 または 4 where コマンド名 と打てばよい FastQC (ver. 0.0.) の実体である fastqc コマンドは /usr/local/bin というディレクトリ上に存在することがわかる 3 4 7

128 パス W9-4 6 の FastQC (ver. 0..3) の実体である /home/iu/downloads/fastqc/fastqc も /usr/local/bin にコマンドのショートカットを置いておけば プログラムの実体がどこにあるかを覚えておかなくていいので楽ができる この作業を パスを通す という

129 パス W9-4 /usr/local/bin に移動し ls fastqc コマンドは確かに存在する これの詳細情報を ls lh で眺める 9

130 パス W9-4 /usr/local/bin 中のfastq* の条件を満たすファイル ( 実質的にfastqcのみ ) の詳細情報を表示 lrwxrwxrwx となっている この一番左側のl( エル ) は fastqcコマンド自体がシンボリックリンクであることを意味する 実体のないショートカットのようなもの という捉え方でよい そして 実体は赤下線部分に存在する 30

131 パス 赤下線で書かれているままに W9-4../bioinf/fastqc/fastqc ディレクトリに移動 これは /usr/local/bin からつ上のディレクトリ (..) にあるbioinf/fastqc/fastqcディレクトリに移動するという意味 相対パスの概念 [W4-6] を理解できていれば 3のpwdの結果に納得できるはず 4 確かにFastQC (ver. 0.0.) のfastqcコマンドの実体がある 3 4 3

132 パスを通す W9-5 FastQC (ver. 0..3) の実行コマンド /home/iu/downloads/fastqc/fastqc をどこのディレクトリ上からも利用できるようにするためには /usr/local/bin にシンボリックリンクを張っておけばいいことがわかっている その状態で 赤下線部分の説明書きを眺めると 何を言わんとしているのかがわかる 3

133 パスを通す W9-5 は 実行コマンド /path/to/fastqc/fastqc をどこのディレクトリ上からも利用できるようにするために 3/usr/local/bin に fastqc という名前で 管理者権限 (sudo) でシンボリックリンクを張る (ln -s) ということ

134 パスを通す W9-5 ただし ゲスト OS (Bio-Linux 8) 環境では 4 /usr/local/bin/fastqc は FastQC (ver. 0.0.) の実行コマンドとして既に存在する これはただのリマインド

135 パスを通す W9-5 それゆえ ( 上書きしちゃってもいいが ) ここでは /home/iu/downloads/fastqc/fastqc を fastqc という名前で /usr/local/bin にシンボリックリンクを張る

136 パスを通す W9-5 は管理者権限 (sudo) で実行しないと失敗するという例 sudo をつけてリトライ パスワードを要求されたら ログインパスワード (pass409) を打ち込む 3/usr/local/bin 中の fastqc* の条件を満たすコマンド群を表示

137 確認 W9-6 ( 作業ディレクトリはどこでもよい )where で fastqc コマンドの場所を表示 確かにパスが通っていることがわかる コマンドもタブ補完で表示可能 例えば fastq まで打ち込んでから Tab キーを押す そうすると fastq から始まる利用可能なコマンドが表示される 37

138 rehash W9-6 ここに fastqc が見られるはずだが 見られない理由は 現在開いているターミナルの環境設定が起動したときの状態のままだから ウェブブラウザのリロードボタンに相当するのが rehash その後 もう一度 fastq まで打ってから Tab キーを押すと fastqc が見られる 38

139 確認 W9-6 ( 作業ディレクトリはどこでもよい ) という証拠を示しているだけ 39

140 Contents テストデータ取得 wget の場合 ドラッグ & ドロップの場合 共有フォルダ経由の場合 Integrative Genomics Viewer (IGV) のインストール 7/3 不参加者は wget 7/3 参加者は共有フォルダ経由 日本乳酸菌学会誌の NGS 連載第 4 回の W7- 以降 FastQC (ver. 0.0.) preinstalled in Bio-Linux 8 FastQC (ver. 0..3): ダウンロード 解凍 正規表現 FastQC (ver. 0..3): パスを通す FastQC ver と ver の違い Genome Analysis Toolkit (GATK) の取得 40

141 W9-7 FastQC ver W9-3 で実行した FastQC (ver. 0..3) を一旦削除 様々な削除法があります fastqc コマンドを再実行 4

142 mv で共有フォルダへ W9-3 で実行した FastQC (ver. 0..3) を一旦削除 様々な削除法があります fastqc コマンドを再実行 4

143 ホスト OS 上では こんな感じになります FastQC ver の結果を眺めてみる 43

144 FastQC ver ver では ( 正確には ver. 0.. 以降 ) Adapter Content という項目が追加されている Kmer Content の k 値のデフォルトが変更されている (ver では k=7; ver では k=5) 44

145 W8- FastQC ver ver では ( 正確には ver. 0.. 以降 ) Adapter Content という項目が追加されている Kmer Content の k 値のデフォルトが変更されている (ver では k=7; ver では k=5) 45

146 Contents テストデータ取得 wget の場合 ドラッグ & ドロップの場合 共有フォルダ経由の場合 Integrative Genomics Viewer (IGV) のインストール 7/3 不参加者は wget 7/3 参加者は共有フォルダ経由 日本乳酸菌学会誌の NGS 連載第 4 回の W7- 以降 FastQC (ver. 0.0.) preinstalled in Bio-Linux 8 FastQC (ver. 0..3): ダウンロード 解凍 正規表現 FastQC (ver. 0..3): パスを通す FastQC ver と ver の違い Genome Analysis Toolkit (GATK) の取得 46

147 7/3 参加者 ホスト OS デスクトップ hoge フォルダ中にある GenomeAnalysisTK という bzip 圧縮ファイルをゲスト OS のホームディレクトリにコピー ( ドラッグ & ドロップ ) 47

148 7/3 不参加者 事務局から送られる URL からダウンロードで取得するなりしてください 作業自体は大したことないので 講習会参加当日早めに来て USB メモリ経由で対応するのでもいいと思います 48

149 全員 この状態からスタートします 49

150 目的 ホームディレクトリ (/home/iu) 上にある GenomeAnalysisTK-.6-3*.tar.bz を /usr/local/src に置いて そこで解凍 50

151 sudo を使う意味 単純に cp コマンドで /usr/local/src に置こうとしても 権限がない (Permission denied) と言われて置けません ( 爆 ) 5

152 所有者は root さん ls で /usr/local を詳細表示 /usr/local/src の所有者は root という 番偉いヒトだということがわかる super user ともいいます 3 ちなみに自分は iu という一般ユーザ 3 5

153 所有者は root さん 一般ユーザ iu さんが /usr/local/src に対して与えられている権限は 読み込み (read) と実行 (execute) のみであり 書き込み (write) 権限は与えられていない だからファイルを置こうとして Permission denied となったのである 53

154 所有者は root さん もちろん root さん (super user) は /usr/local/src の 所有者なので 全ての権限をもつ 54

155 sudo を使う意味 sudo (super user do) は 一時的に root として実行するためのコマンド そのターミナルで sudo を使うおそらく初回のみ パスワードを聞かれる 55

156 権限と所有者 /usr/local/src に確かにコピーできていることがわかる 所有者が root であり rw-r--r-- という状況を鑑み 適切に対処すべし! 56

157 chmod 755 このあたりは これを実行しないことによる実害 を被ることで経験値を積む以外にない 私は 755 になっていなければ 反射的に chmod 755 をやっておきます この場合は おそらくやらなくてもうまくいくと思います 57

158 tar.bz の解凍 基本形は bzip dc ファイル名 tar xvf - パイプで連結しているので 二箇所に sudo を入れている このあたりも実害を被りながら経験を積んでいく 58

159 解凍コマンド実行結果 特にエラーは出ていないようだ 59

160 確認 こんな感じになっていれば OK( なはず ) 60