長崎は遺伝研大量遺伝情報研究室の所属です国立遺伝学研究所生命情報研究センター 3F 2F 欧州EBIと米国NCBIと密接に協力しながら DDBJ/EMBL/GenBank国際塩基配列データベースを構築しています私たちは塩基配列登録を支援するシステムづくり登録データの活用するシステムづく

Size: px

Start display at page:

Download "長崎は遺伝研大量遺伝情報研究室の所属です国立遺伝学研究所生命情報研究センター 3F 2F 欧州EBIと米国NCBIと密接に協力しながら DDBJ/EMBL/GenBank国際塩基配列データベースを構築しています私たちは塩基配列登録を支援するシステムづくり登録データの活用するシステムづく"

さなえくだら
9 years ago
Views:

1 AJACS十勝 ( ) DDBJ Read Annotation Pipeline の紹介と実習 (RNA-Seq配列のde novoアセンブリを中心に) 国立遺伝学研究所大量遺伝情報研究室長崎英樹

2 長崎は遺伝研大量遺伝情報研究室の所属です国立遺伝学研究所生命情報研究センター 3F 2F 欧州EBIと米国NCBIと密接に協力しながら DDBJ/EMBL/GenBank国際塩基配列データベースを構築しています私たちは塩基配列登録を支援するシステムづくり登録データの活用するシステムづくり高速シーケンス配列の情報解析を行なっています

3 高速シーケンサー配列の登場で短期間低コストで大量の塩基配列データを出力されるようになった illumina社 HiSeq2000 Life Technologies社 ion torrent Paciﬁc Bioscience社 PacBio RS II

4 高速シーケンサー配列の登場で短期間低コストで大量の塩基配列データを出力されるようになった illumina社 HiSeq2000 Life Technologies社 ion torrent Paciﬁc Bioscience社 PacBio RS II その結果... データ保管場所の確保計算機不足解析のための人員不足といった問題がでてきた

5 DDBJの高速シーケンサー配列の諸問題への対応 DRA データ保管場所の確保 DDBJ Sequence Read Archive (DRA) SRA ERA International Nucleotide Sequence Database Collaboration (INSDC) 計算機不足解析のための人員不足 NIG(遺伝研)スパコンシステム

6 遺伝研スーパーコンピュータシステム(NIGスパコンシステム) ゲノム解析を主な目的とした大規模計算機利用拠点として最新鋭の大規模クラスタ型計算機大規模メモリ共有型型計算機および大容量高速ディスク装置で構成されたスーパーコンピューティングシステムサービスを提供しています

7 DDBJの高速シーケンサー配列の諸問題への対応 DRA データ保管場所の確保 DDBJ Sequence Read Archive (DRA) SRA ERA International Nucleotide Sequence Database Collaboration (INSDC) 計算機不足 NIG(遺伝研)スパコンシステムアカウント登録で無償利用コマンドラインによる操作データ規模や使用メモリ量等で計算機ノードを選択などコツがいる解析のための人員不足

8 DDBJの高速シーケンサー配列の諸問題への対応 DRA データ保管場所の確保 DDBJ Sequence Read Archive (DRA) SRA ERA International Nucleotide Sequence Database Collaboration (INSDC) 計算機不足 DDBJ Read Annotation Pipeline (DDBJ パイプライン) 解析のための人員不足

9 DDBJ パイプラインの特徴基礎解析部 DRAへの仮登録データまたはDRA内データ FTP/HTTPによるデータアップロード FASTQ/FASTA 遺伝研の計算機で分散処理を実行高速シーケンスデータを解析するクラウド型パイプラインオンラインで無償で利用可 de novo アセンブルマッピング DDBJのWGS用 FASTAファイル基礎解析部 (マッピング de novo アセンブル)と高次解析部 (構造機能のアノテーション)で構成解析結果ファイルをインポート高次解析部 SNP検出 RNASeq ChIP- 構造機能 Seq アノテーション

11 DDBJパイプライン基礎解析部 13種類のマッピングアセンブルソフト対応マッピング BLAT 高速シーケンサー登場以前からあるアライメントツール発現データはイントロンを想定したギャップを考慮 MAQ 高速シーケンサー登場初期にショートリードに対応リード長が長くなるに従い開発はBWAに引き継がれる BWA MAQより速く Titaniumのリードもオプションで対応 SOAP Bowtie/ Bowtie2 TopHat メモリ消費量少なくより高速精度はBWAより弱冠落ちるギャップは考慮しないが処理は速い BWA SOAP2 Bowtieは Burrows-Wheeler変換というアルゴリズムでゲノムDNAにたいしてインデクスを作成高速でマッピングする Bowtie2は50bp以上に最適化 RNA-Seqのリードを内部でBowtieを利用してマッピングスプライスジャンクションを特定するアセンブル SOAPdenovo ヒトパンダ等大型ゲノムのアセンブリで使用された比較的高速 Abyss 初期に並列処理に対応したアセンブラ Velvet 高速シーケンサー登場初期に開発されたメモリ消費多め Trinity RNA-Seq配列のアセンブラ上記3つともにde bruijn graphというアルゴリズムを使用東工大のPlatanusとPacBioデータ用のアセンブラ HGAPも追加されました!

12 DDBJパイプライン基礎解析部 13種類のマッピングアセンブルソフト対応公開配列データの活用が容易公開データと比較レファレンスとしての活用

13 DDBJパイプライン基礎解析部 13種類のマッピングアセンブルソフト対応公開配列データの活用が容易公開データと比較レファレンスとしての活用ジョブステータスで実行状態を確認可能 NIGスパコンで実行マッピング Intel Xeon 2.60GHz 16 core,64gb RAM * 352 nodes アセンブル Intel Xeon 2.40GHz 80 cores, 2TB RAM * 2 nodes Intel Xeon 2.66GHz 768 cores, 10TB RAM ストレージ 2PB storage 解析終了をメールで通知 SAMtools/FASTAによる共通フォーマットでの出力

14 DDBJパイプライン高次解析部基礎解析部 DRAへの仮登録データまたはDRA内データ FTP/HTTPによるデータアップロード FASTQ/FASTA de novo アセンブルマッピング DDBJのWGS用 FASTAファイル解析結果ファイルをインポート高次解析部 Galaxyで多様な構造機能のアノテーションに対応 SNP検出 RNASeq ChIP- 構造機能 Seq アノテーション基礎解析部のデータファイルを活用 (SAMや(m)pileup FASTAファイルを参照)

15 DDBJパイプライン高次解析部 NGSデータのマッピング結果の解析 SNPのゲノム上の分布の表示 RNA-SeqのCuﬄinks実行(発現量の正規化) gtf->wigフォーマット変換 UCSC genome browser siteでの可視化 ( ChIP-Seq MACSによるDNA結合タンパク質の結合部位候補の同定

16 DDBJパイプライン高次解析部 RNA-Seqのde novo アセンブル結果の解析 Trinityによるアセンブル FASTAファイル配列長フィルターアミノ酸変換長いORFかつ HMMERによるモチーフ検索 UniProtKB/Swiss-Prot nrに対するblastp

17 providing robustness to the noise stemming from sequencing errors (Fig. 1a). Inchworm (i) constructs a k-mer dictionary from all sequence and other artifacts in the data. In particular, sequencing errors would reads (in practice, k = 25); (ii) removes likely error-containing k-mers introduce a large number of false nodes, resulting in a massive graph from the k-mer dictionary; (iii) selects the most frequent k-mer in the with millions of possible (albeit mostly implausible) paths. dictionary to seed a contig assembly, excluding both low-complexity Here, we present Trinity, a method for the efficient and robust de novo reconstruction of transcriptomes, consisting of three software a c b modules: Inchworm, Chrysalis and Butterfly, applied sequentially to process large volumes of RNA-Seq reads. We evaluated Trinity on data from two well-annotated species one microorganism (fission yeast) and one mamoverlap linear mal (mouse) as well as an insect (the whitefly ATTCG CTTCG sequences by Bemisia tabaci), whose genome has not yet been TTCGC overlaps of k 1 sequenced. In each case, Trinity recovers most to build graph TCGCA De Bruijn Read set components of the reference (annotated) expressed trangraph (k = 5) CGCAA scripts as full-length sequences, and resolves GCAAT alternative isoforms and duplicated genes, perk 1 CAATC CAATG forming better than other available transcripaatca AATGA Extend in k-mer tome de novo assembly tools, and similarly to space and methods relying on genome alignments. ATCAT ATGAT DDBJパイプラインで実行するTrinityについて... TGATC TCATC GATCG CATCG Inchworm: k-mer(k=25)でざっくりアセンブルしてコンティグをつくる ATCGG T C T G C A T A T C T G! k 1 T C A T* CGGAT Compacting... G TCGGA k 1 A C TTCGCAA...T C G C Compact graph ATCGGAT... Finding paths >a121:len = 5, Butterﬂy: グラフを精査していってスプライスバリアントやパラログも再構成する C A k 1 k 1 T G C A each representing the transcriptional complexity at nonoverlapping loci. Accordingly, Trinity partitions the sequence data into these many individual graphs, and then processes each graph independently to extract fulllength isoforms and tease apart transcripts derived from paralogous genes. In the first step in Trinity, Inchworm assembles reads into the unique sequences of transcripts. Inchworm (Fig. 1a) uses a greedy k-mer based approach for fast and efficient transcript assembly, recovering only a single (best) representative for a set of alternative variants that share k-mers (owing to alternative splicing, gene duplication or allelic variatrinityについては tion). Next, Chrysalis (Fig. 1b) clusters related Nat Biotechnol May 15;29(7): contigs that correspond to portions of alternaグラフアルゴリズムについては tively spliced transcripts or otherwise unique portions of paralogous genes. Chrysalis then constructs a de Bruijn graph for each cluster 等ご参考ください of related contigs, each graph reflecting the break ties... Chrysalis: RESULTS スプライスバリアントやパラログ由来のコン Trinity: a method for de novo transcriptome assembly ティグを含めてクラスター化In contrast to de novo assembly of a genome, where few large connected sequence graphs can represent connectivities among reads コンティグの共通部分を基にどういう経路を across entire chromosomes, in assembling transcriptome data we expect to encounter とってつながっていくか? >グラフを作成 numerous individual disconnected graphs, >a122:len = 2,560 A C >a123:len = 4,443 >a124:len = 48 >a126:len = 66 Linear sequences TTCGCAA...T G Compact graph with reads C ATCGGAT... Extracting sequences...cttcgcaa...tgatcggat......attcgcaa...tcatcggat... Transcripts Figure 1 Overview of Trinity. (a) Inchworm assembles the read data set (short black lines, top) by greedily searching for paths in a k-mer graph (middle), resulting in a collection of linear contigs (color lines, bottom), with each k-mer present only once in the contigs. (b) Chrysalis pools contigs (colored lines) if they share at least one k 1-mer and if reads span the junction between contigs, and then it builds individual de Bruijn graphs from each pool. (c) Butterfly takes each de Bruijn graph from Chrysalis (top), and trims spurious edges and compacts linear paths (middle). It then reconciles the graph with reads (dashed colored arrows, bottom) and pairs (not shown), and outputs one linear sequence for each splice form and/or paralogous transcript represented in the graph (bottom, colored sequences).

18 今回はミドリフグのRNA-Seqデータを使用します Tetraodon nigroviridis 最大で全長17 cm 観賞魚としてポピュラーであり 2-3 cm程度の幼魚が多くの熱帯魚店等で売られている SRR (エントリー: SRA059267) 76bpの150,435,952リードペアエンド

19 謝辞大量遺伝情報研究室の方々富士ソフト株式会社森崎さん DDBJの方々本研究は文部科学省科学研究費新学術領域研究生命科学系３分野支援活動ゲノム支援および科学研究費基盤(C)の支援を受けております大量研ではDDBJパイプラインをカンキツ類野生イネミニトマトゼニゴケ等の変異解析パラゴムの木のアセンブルに使用しております DDBJ Read Annotation Pipeline: a cloud computing-based pipeline for high-throughput analysis of next-generation sequencing data. DNA Res Aug;20(4):

20 実習内容 DDBJ パイプラインを用いた denovo RNAseq アセンブリ DRA (DDBJ Sequence Read Archive)からの配列データのインポート DDBJパイプライン基礎部での Preprocessing ジョブ実行 DDBJパイプライン基礎部での Trinity ジョブ実行 DDBJパイプライン高次解析部(Galaxy)でのジョブ実行参考資料 DDBJパイプライン(基礎部)へのアカウント作成 DDBJパイプライン(基礎部)のFTPによるデータ転送

22 今回使用する高速シーケンサー配列の確認 DRAで検索すると早い DRA: 今回は実習用サンプルとしてミドリフグの高速シーケンサーで出力された RNAseq 配列を用いる DRAのwebサイトから検索をクリック DRASearchのwebサイトが表示 Organism: に Tetraodon nigroviridis と入力し Search をクリック今回はアクセッション番号 SRA のデータをサンプルに用いる Pipelineからインポートするのに必要なのでアクセッションをメモしておくクリック

23 DDBJパイプラインにログインクリッククリック DDBJ, pipeline で検索すると早いデモ用アカウントは講習内でお伝えします

24 DRAから配列データをインポート DDBJパイプラインログインする選択 Import public DRA をクリック Input DRA/ERA/SRA Accession Number に SRA と入力 Add my DRA entry をクリック SRA クリック

25 DRAから配列データをインポート Confirmation のダイアログが現れる Send a mail when completed importing のチェックを確認チェックしておくとimport終了時にメールが届く OK をクリッククリック importの進行状況は Import public DRA タブ内で確認できます webブラウザをリロードして下方の入手リストを確認実行中のDRAのアクセッションが queued から done になったら完了ブラウザリロードで確認選択

27 Trinity QV Preprocessing Private DRA entry SRA FTP Tetraodon_nigroviridis_RNA-Seq Experimental ACCESION SRX NEXT

28 Preprocessing 実行条件の指定 Trinity 実行の前にインポートしたデータの前処理として QV によるフィルタリングを行うクオリティ値の選択 DRA からインポートされたデータはすべて Phred+33 形式になっていますリードの両端から QV <=19 となる塩基をトリムトリム後の長さが 25 bp 未満となった場合はリード全体を削除ペアの場合はペアとなるもう一方も同時に除かれるトリム後のリードの中に QV <= 14 のリードが 30 % 以上含まれていた場合リード全体を削除ペアの場合はペアとなるもう一方も同時に除かれる最下部の NEXT を押し次画面に進む

29 Preprocessing 実行および実行状況の確認 Trinity 実行の前にインポートしたデータの前処理として QV によるフィルタリングを行うメールを入力して Run ボタンを押すステータス画面でジョブの実行状況の確認 Preprocessing でフィルタリングをしたクエリファイルを利用してdenovo Assemblly / mapping を行う場合ジョブIDが必要になるので覚えておくこと View ボタンで詳細を確認

30 Preprocessing 結果の確認 Trinity 実行の前にインポートしたデータの前処理として QV によるフィルタリングを行うリード位置ごとの平均クオリティ値処理済みの FASTQ ファイルのダウンロードクオリティ値ごとの塩基数ログの確認 BACK ボタンでジョブ履歴画面に戻る 0.0e e e e e e e+08 Count Count of QS!!!!!!!!! 0!!!!!!!!!!!!!!!!!!!!!!!!!! Phred Quality Score 30 40

32 Trinityの実行クエリファイルの選択クエリとなるFASTQ/FASTA配列を選択する方法としてDDBJパイプラインでは下記の４通りの方法がある FTPクライアントソフトでアップロードした配列を使用選択 FTP upload webブラウザでアップロードした配列を利用 HTTP upload DRAからインポートした配列を使用する Private DRA entry Preprocessing で処理した配列を使用 Preprocessing 次へ今回は Preprocessing で処理したクエリを使用する画面左のメニューから Preprocessing Start を選択 Preprocessing で処理されたファイルは PreprocesingのジョブID _もとのファイル名_e.fastq.bz2 という形式のファイル名になっているので先ほど確認しておいたジョブIDで始まるものを選択最下部の NEXT をクリック

33 denovo Assembly! Trinity NEXT

34 confirm NEXT

35 Trinityの実行実行オプションの指定 library type および実行時のオプションを指定今回は501の条件で実行するお好みの長さに変えられます今回501で参考 Pipelineで使用している Trinity 実行コマンドクエリファイルの種類メモリ CPU 関係の指定(固定 FASTA or FASTQ (自動で指定される) Trinity.pl --seqtype fq --JM 100G --bflyheapspacemax 4G --bflygcthreads 1 --CPU 4 --single <クエリファイル名> --output <出力ディレクトリ名> --min_contig_length 201 入力ファイル出力ファイルの指定自動で指定されるユーザーの指定するオプション

40 高次解析部起動パイプライン基礎部の左のメニューカラムから step-2/workﬂow をクリック高次解析部(GALAXY)が起動 Tips: 直打ちしてツールメニューの Work Flow をクリック基礎解析と同じパイプライン登録時のメールアドレスとパスワードを入力しても起動可能クリック

41 RNA-Seqのアセンブル結果をインポート TrinityによるRNA-Seqのアセンブル結果を GALAXYにインポートする左側ツールメニューの Work Flow をクリッククリック左側ツールメニューの COMMN PROCESS の下 import contig form DDBJ Pipeline をクリック実行したジョブのsamﬁleのリストのうち今回は SRR by Preprocessing の import をクリック中央にツール実行開始の表示が現れ... 左側のヒストリーに読み込み中のファイルが表示される(緑色になったら終了) ヒストリーの目のアイコンをクリックすると中央にプレビューされる SRR を確認クリッククリック

42 アミノ酸変換クリック結果1 さらにその下の transcriptstoorfs (N.A.) Trinity Transcripts to Candidate Peptides をクリック >m.565 g.565 ORF g.565 m.565 type:internal len:207 (-)... DLEMQIEGLKEELIFLKKNHEEELLAMRAQMSGQVHVEVEAAPAEDLTKVMADIREHYES ITAKNQKELETWFNSKSEALNKEMMTQTVTLQTSRSEVTEVKRSLQALQIELESLLGMKA SLEGTLQDTQNRYSMMLAGYQQQVTSLEQQLVQLRADLVRQGQDYQMLLDIKTRLELEIA EYRRLLEGEAAASSSTSSTSSTKTRRL >m.566 g.566 ORF g.566 m.566 type:complete len:216 (+)... MAQSVPVVMFKLVLVGDGGTGKTTFVKRHLTGEFEKKYVATLGVEVHPLFFNTNRGNVKF NVWDTAGQEKFGGLRDGYYIQAQCAIIMFDVTSRVTYKNVPNWHRDLVRVCENIPIVLCG NKVDIKDRKVKAKSIVFHRKKNLQYYDISAKSNYNFEKPFLWLARKLIGDPNLEFVEMPA LAPPEVTMDPALAVQYEKELHVASQTALPDDEDDL* >m.568 g.568 ORF g.568 m.568 type:internal len:227 (-)... GDRFKEDRKAKRLPEKSIDMIILLTDGDPNSGESRIPVIQENVKAAIGGQMSLFSLGFGN DVKYPFLDVMSRENNGLARRIYEGSDAALQLQGFYDEVSSPLLLDVDLRYPDNAVDSLTT NQFSQLFNGSEIVVAGRLKDNDIDNFPVEVFGQGLNDFSEQGQFSVLDWSGMYPDDDYIF GDFTERLWAYLTIQQLLDKSKTGDAEEKANASAEALDMSLRYSFVTP >m.571 g.571 ORF g.571 m.571 type:5prime_partial len: ASGGEGTHSSCGSWFNAGAKDFPSVPYSYLDFNDYKCKTSSGEIESYHDVHQVRDCRLVS LLDLALEKDYVRGKVADYMNRLVDMGVAGFRVDACKHMWPGDLSAVYGRLNNLNTKWFPE GSRPFIFQEVIDLGGEAISYTVYVHLGRVTEFKYGAKLGTVFRKWNNEKLMYTKNWGEGW GFMPNGNAVVFIDNHDNQRGHGAGGAAIVTFWDSRLHKMAVAYMLAHPYGVTRVMSSFRW NRHIVNGKDQNDWMGPPSHPDGSTKSVPINPDETCGDGWVCEHRWRQIKNMVIFRNVVNG QPHSNWWDNNSNQVAFGRGNRGFIIFNNDDWDLDVTLNTGLPAGTYCDVISGQKEAGRCT GKQIHVGSDGRAHFRISNRDEDPFVAIHVESKL* >m.573 g.573 ORF g.573 m.573 type:5prime_partial len: WEPSWPWQVSLQEYTGFHFCGGSLINENWVVTAAHCNVRTSHRVILGEHDRSSNNENIQV MQVGQVFKHPNYNSYTINNDITLIKLASPAQLNIRVSPVCVAETSDVFPGGMKCVTSGWG LTRYNAPDTPPRLQQVALPLLTNEECRKHWGSKITDLMVCAGASGASSCMGDSGGPLVCE KAGAWTLVGIVSWGSGFCSVSSPGVYARVTMLRAWMDQIIAAN* CPU: 16くらい推奨 Execute をクリック結果としては 1) アミノ酸配列 2) pfamのドメインとのマッチング 3) その他ORF候補が返ってくる 16くらい推奨クリック結果2 結果3 # # target name # Actin Apolipoprotein domain accession PF PF query name m.1 m full sequence best 1 domain domain number estimation ---accession E-value score bias E-value score bias exp reg clu ov env dom rep inc e e e e description of target Actin Apolipoprotein A1/A4/E comp1002_c0_seq ID=m.565;Name=ORF_g.565_m.565_type:internal_len:207_(-)_(g.565,_m.565); comp1006_c0_seq ID=m.566;Name=ORF_g.566_m.566_type:complete_len:216_(+)_(g.566,_m.566); comp1010_c0_seq ID=m.568;Name=ORF_g.568_m.568_type:internal_len:227_(-)_(g.568,_m.568);

43 RNA-Seq由来のアミノ酸配列をBLASTPにかける左側ツールメニューの Work Flow の下 ANNOTATION FOR DE NOVO ASSEMBLED SEQ. の下 BLASTP をクリッククリック Select database: は今回 Swiss-ProtVertebrates を選択 Expectation Value: は今回 -20と入力クリック Execute をクリック BLASTP error/warning reports はBLASTのエラー表示などクリック BLASTP on data... をクリックするとフロッピーのアイコンが出てくるのでそのアイコンをクリックするとBLASTP結果のダウンロードが始まるクリック

45 参考資料 DDBJパイプライン(基礎部)へのアカウント作成

46 DDBJ ( New account UserID Registration e

47 1. FTP Upload 4

48 FTP client PC DDBJ FTP

49 FTP client Cyberduck

50 1.Cyberduck FTP-SSL(Explicit AUTH TLS) 4. (pdata.nig.ac.jp) (21) 5.Pipeline guest 6.

51 Query file Upload 1. Query submission DRA sample Bacillus subtilis subsp. natto BEST195 without plasmid pbest195l Read : 9,977,388 Read length : 36 2.Upload & 3.Upload Pipeline

52 Query file Upload 1 1.Pipeline Upload Single-end 2.Select a FASTA/FASTQ file Upload Paired-end 2.Select a FASTA/FASTQ file 3.Single-end 3.Paired-end 4.read 4.read1 file 5. 5.read1 file read2 file 6.

53 1. 2.Study title 3. 4.Assembly/Mapping

54 Query file Upload Upload 1.Upload FASTA/FASTQ(FTP client) 2. 3.

28DDBJing_nagasaki.pdf

28DDBJing_nagasaki.pdf de novo de novo http://p.ddbj.nig.ac.jp http://p.ddbj.nig.ac.jp http://p.ddbj.nig.ac.jp http://p.ddbj.nig.ac.jp http://p-galaxy.ddbj.nig.ac.jp de novo http://p-galaxy.ddbj.nig.ac.jp (http://genome.ucsc.edu/cgi-bin/hggateway)