<4D F736F F F696E74202D D D E C815B836A F B83582E >

Size: px

Start display at page:

Download "<4D F736F F F696E74202D D D E C815B836A F B83582E >"

たつやおなか
4 years ago
Views:

1 マッピングデータの基本フォーマットと基本ツール次世代シーケンサーに良く用いられるファイル形式 Samtools Integrative Genomics Viewer(IGV) 基礎生物学研究所生物機能解析センター山口勝司 NIBB CORE RESEARCH FACILITIES FUNCTIONAL GENOMICS FACILITY NIBB CORE RESEARCH FACILITIES FUNCTIONAL GENOMICS FACILITY NIBB CORE RESEARCH FACILITIES FUNCTIONAL GENOMICS FACILITY 次世代シーケンサーに良く用いられるファイル形式

2 次世代 DNAシーケンサーの使うファイルにはルールに基づいた様々な記述方式があるよってこれらのファイル形式を把握しておく必要がある以下特に必要性の高いものについて概説する FASTA format FASTA format FASTQ format SAM/BAM format GFF/GTF format BED format WIG format

FASTQ format @HWI-ST676:103:C0CJAACXX:2:1107:16381:2402 2:N:0:GCCAAT CCCACCGCCGCCGCGCCAATCTTGACGGCGACAAAGCCAGGACGACGACCGCCGCACGAAA +

ACAAATCTCAGCATTTACTTATGATGGGTTGTATCGTGTGGTGGATTACTGGAGAGAAGGT + CCCFFDDFHDFHHJIJIIJJJJJJJJJJBBEGIIJEDFFFG?

DDDDDBEDDBAD<CBFGIBA33ACEEFGD=HBFIGCHII6DGG>GEGHIEH=8==CGDGDH @ 配列 ID 説明塩基配列 +( 配列 ID 説明 ) クオリティー値配列配列とクオリティ値情報をまとめた形式各データの先頭は @ 塩基配列とクオリティ値配列の間に +

3 FASTQ 2:N:0:GCCAAT CCCACCGCCGCCGCGCCAATCTTGACGGCGACAAAGCCAGGACGACGACCGCCGCACGAAA + 2:N:0:GCCAAT ACAAATCTCAGCATTTACTTATGATGGGTTGTATCGTGTGGTGGATTACTGGAGAGAAGGT + 2:N:0:GCCAAT CAAAGATTGCTTGCTCTGGTGACAAAACCAACCTAGCCGAAGCTTCCTCAACTTCATCAAC + 配列 ID 説明塩基配列 +( 配列 ID 説明 ) クオリティー値配列配列とクオリティ値情報をまとめた形式塩基配列とクオリティ値配列の間に + クオリティ値はアスキーコードにしたかって1 塩基ごと1 文字列で表示されるこれにより10 進数の数値をそのまま使うよりファイルサイズが小さくなり高速な処理に都合が良い塩基配列クオリティ値配列ともに1 や + はクオリティ値の中にも現れうるクオリティ値はアスキーコードで記載されているコンピュータで文字をコードする最も標準的な規格 0~127 の数値にアルファベット数字記号などを割り当てたもの 33~126 までが表示可能な文字 ASCII コード表 ( 表示可能文字 )

4 Illumina の FASTAQ 形式のクオリティー値解析ソフト (CASAVA) のバージョンによりルールが変わっているので注意 CASAVA のバージョン算出式アスキーコードから変換 CASAVA1.3より前 solexa 方式 -64 (solexa 時代 ) CASAVA1.3~1.7 PHRED 方式 -64 CASAVA1.8 以降 PHRED 方式 -33 solexa 方式算出式 PHRED 方式算出式 p<0.1 の時は実質的な違いはない各種解析ツールに FASTQ ファイルを入力する際これらをパラメーターとして適切に指定する必要がある 2:N:0:GCCAAT ACAAATCTCAGCATTTACTTATGATGGGTTGTATCGTGTGGTGGATTACTGGAGAGAAGG + CCCFFDDFHDFHHJIJIIJJJJJJJJJJBBEGIIJEDFFFG?DGFGIEHIHHIJIIIGHG 例えば最新の CASAVA1.8 で得られた上記の FASTQ ファイルの場合 1 ベース目の A のクオリティー値は C である C はアスキーコード 67 なので -33 で補正するとクオリティー値は 34 ということになる PHRED 方式の計算式からエラー確率は 0.04% QV = - 10 log 10 (p) p : エラー確率 p = 10 (-QV/10) QV : クオリティー値クオリティ値 10ならエラー確率 10% 20ならエラー確率 1% 30ならエラー確率 0.1% 40ならエラー確率 0.01% FASTQに記載されるクオリティー値はあくまでシーケンサーからの推定値であることを注意 ( 実測値ではない )

5 Sam / Bam format 後述する samtools のサイトに The SAM Format Specication (v1.4-r985) という Sam format の仕様記述がある Sam / Bam format

6 BAM format は SAM format をバイナリー化したものデータ圧縮によりファイルサイズが小さくできる index ファイルを作成することで高速検索も可能となる samtools を用いることで sam ファイルと bam ファイルは自在に変換可能 BAM -> SAM 変換 > samtools view -h file.bam > file.sam -h 出力にヘッダを含める SAM -> BAM 変換 > samtools view -Sb file.sam > file.bam -S 入力ファイルとして SAM -b 出力ファイルとして BAM

9 自分で変換する際には注意する必要がある Samtools

10 Samtools が活躍する場面 SAM/BAMはマッピングデータの標準フォーマット mapping 結果が BAM でしか提供されない場合内容をテキスト表示して確認興味のある領域だけのアライメント情報を抽出ファイルサイズを節約する為にSAMをBAMに圧縮 BAMをロードするプログラムのためにsort & indexing (ex: IGV) 複数のマッピングデータをマージする mapping 結果の簡単な統計を表示 SNP callの機能も優秀 SAMtools は NGS のマッピングデータを扱う様々な場面で活躍する必須ツール

11 samtools s is saco command-line tool. Usage: samtools <command> [options] UNIX way Written in C. Compile and install by make command line read documents carefully website documents help document README Program: samtools (Tools for alignments in the SAM format) Version: (r982:295) Usage: samtools <command> [options] Command: view SAM<->BAM conversion sort sort alignment file mpileup multi-way pileup depth compute the depth faidx index/extract FASTA tview text alignment viewer index index alignment idxstats BAM index stats fixmate fix mate information flagstat simple stats calmd recalculate MD/NM tags and '=' bases merge merge sorted alignments rmdup remove PCR duplicates reheader replace BAM header cat concatenate BAMs targetcut cut fosmid regions (for fosmid pool only) phase phase heterozygotes

12 $ samtools view Usage: samtools view [options] <in.bam> <in.sam> [region1 [...]] Options: -b output BAM -h print header for the SAM output -H print header only (no alignments) -S input is SAM -u uncompressed BAM output (force -b) -x output FLAG in HEX (samtools-c specific) -X output FLAG in string (samtools-c specific) -c print only the count of matching records -t FILE list of reference names and lengths (force -S) [null] -T FILE reference sequence file (force -S) [null] -o FILE output file name [stdout] -R FILE list of read groups to be outputted [null] -f INT required flag, 0 for unset [0] -F INT filtering flag, 0 for unset [0] -q INT minimum mapping quality [0] -l STR only output reads in library STR [null] -r STR only output t reads in read group STR [null] -? longer help flagstat, depth flagstat: Collect some statistics about alignment マッピングの簡単な統計をとるのに便利 $ samtools flagstat NA12878.chr16p.bam in total (QC-passed reads + QC-failed reads) duplicates mapped (96.52%:nan%) paired in sequencing read read properly paired (83.33%:nan%) with itself and mate mapped singletons (4.11%:nan%) with mate mapped to a different chr with mate mapped to a different chr (mapq>=5) depth: compute the depth 1 塩基毎に coverage (depth) を表示 $ samtools depth NA12878.chr16p.bam head

13 BAM ファイルの index 作成インデックスファイルランダムアクセス ( 見たい場所に直接移動すること ) によって効率良くデータを取得するために索引を作成 BAM ファイルのインデックスを作成することによりランダムアクセスによる効率的なデータ検索が可能になるインデックスの作成にはまず BAM ファイルをソートする必要がある > samtools sort file.bam file_sort > samtools index file_sorted.bam インデックスを利用して指定した領域とオーバーラップするマッピングデータを迅速に取得できる > samtools view file_sorted.bam chr1:2,000,000-2,500,000 2 シェルスクリプトでまとめて解析 #test_sh # ファイル名を指定 file_name="test" #sam ファイルから bam ファイルを作成し samtools view -Sb $file_name.sam > $file_name.bam # ソートするソートしないと index ファイルを作成できない samtools sort $file_name.bam file1.sort #indexファイルを作成 samtools index $file_name.sort.bam # アライメントおよびリードの様々な情報を得る samtools idxstats $file_name.sort.bam > $file_name.idxstats samtools flagstat $file_name.sort.bam > $file_name.flagstat samtools depth $file_name.sort.bam > $file_name.depth samtools view $file_name.sort.bam awk '{print $5}' > $file1_name.mqv パイプで awk コマンドと組み合わせて sam ファイルの特定列 (mapqv 値 ) を取り出す awk 参考 :

14 Integrative Genomics Viewer(IGV) 可視化ツールに求められるもの膨大なデータを如何に直感的に理解できるようにするか配列 GC ratio 遺伝子情報遺伝子発現情報 SNPの位置情報頻度情報様々なデータの精度情報 gene model / gene annotationと並べて比較複数のデータセットを並べて比較色々なデータを比較統合的に解釈できるようにしたいゲノムviewerに自分のデータを乗せ統合的直感的に解釈できること

15 お手軽ツール Integrative Genomics Viewer(IGV) アカデミックウェアで無料コミュニティーでの利用者が多いから情報も多い javaのプログラムなのでオールプラットフォーム対応ム対応マニュアルは親切サンプルデータのある WEBサーバーではなく PCレベルでできる誰もが簡便に使えるものが良い

18 色々な生物種のゲノム情報は用意されている新たな生物種をロードすることも可能

19 ゲノムViewerなので次世代 DNAシーケンサーのデータに限定されないマイクロアレイの結果やゲノムアノテーションの情報も随時表示できる対応するファイル形式に応じて表示方法が決まる Gene List View Loading/Defining Gene Lists My Lists

20 Nature Biotech. 29:24 26 (2011) Supplement figure からの抜粋 Nature Biotech. 29:24 26 (2011) Supplement figure からの抜粋

21 公開情報の viewer としてその他の便利機能セッションの保存表示しているデータの読み込み状況をそれごと保存セッションをロードすることで意図した画面を表示できるデータセットが揃っていることフォルダー構造が同一である必要があるバッチ処理重要領域の画面スナップショットを自動で取ったりできる new load myfile.bam snapshotdirectory mysnapshotdirectory genome hg18 goto chr1:65,289,335-65,309,335 sort position collapse snapshot goto chr1:113,144, ,164,120 sort base collapse snapshot

22 実習 Integrative Genomics Viewer(IGV)

23 登録されていない生物種配列でも配列でも自分で import すれば OK スケール変更トラックの移動マウスのドラッグ移動が可能による移動も可能 Feature trackを指定して Ctr+F gene model 単位で右に移動 Ctr+B gene model 単位で左に移動 Shift+Ctr+F exon 単位で右に移動 popup で情報を見ることが可能

24 1.BEDファイルを読み込ませてみましょう 2.WIGファイルを読み込ませてみましょう 3.BAM ファイルを読み込ませてみましょう

25 BED ファイルの描画ここではトランスポゾン領域が分かるようにします 1.BED ファイルを読み込ませてみましょう 2.WIGファイルを読み込ませてみましょう 3.BAMファイルを読み込ませてみましょう WIG ファイル -> hdf ファイルに変換する膨大なデータ量なのでバイナリー化すべき WIG -> hdf (IGV toolでできます今回は処理済み ) variablestep chrom=chr

26 1.BEDファイルを読み込ませてみましょう 2.WIGファイルを読み込ませてみましょう 3.BAMファイルを読み込ませてみましょうみまし IGV 紹介のまとめ可視化ツールとして十分な機能を持つ無料比較的簡単お手軽次世代 DNA シーケンサー解析の標準的ツールになりつつある自分で見るためにも良し人に見せるためにも良し利用範囲は次世代 DNA シーケンサーに限定しない広くゲノミクスの解析に有用ウェブサイトを見ながら復習して頂けたらもっと良く分かるはず

Maeda140303

Maeda140303 2014 NGS NIBB - - - - FASTA / FASTQ - BED GFF/GTF WIG - SAM / BAM - SAMtools Web HTML (PC/), OS (Windows/Mac), IE/Chrome/Safari NGS Wet - - NGS - FASTA, FASTQ, csfastq, FASTA/qual, SRA, - BED, GFF/GTF,