自己紹介 : プロフィール石井一夫 ( 東京農工大学特任教授 ) 専門分野 : ゲノム科学バイオインフォマティクスデータマイニング計算機統計学経歴 : 徳島大学大学院医学研究科博士課程修了後東京大学医科学研究所ヒトゲノム解析センターリサーチアソシエート理化学研究所ゲノム科学総合研究セン

Size: px

Start display at page:

Download "自己紹介 : プロフィール石井一夫 ( 東京農工大学特任教授 ) 専門分野 : ゲノム科学バイオインフォマティクスデータマイニング計算機統計学経歴 : 徳島大学大学院医学研究科博士課程修了後東京大学医科学研究所ヒトゲノム解析センターリサーチアソシエート理化学研究所ゲノム科学総合研究セン"

まれあそや
5 years ago
Views:

1 フリーソフトウェアを用いたゲノム科学におけるビッグデータ解析石井一夫東京農工大学農学系ゲノム科学人材育成プログラム 1

2 自己紹介 : プロフィール石井一夫 ( 東京農工大学特任教授 ) 専門分野 : ゲノム科学バイオインフォマティクスデータマイニング計算機統計学経歴 : 徳島大学大学院医学研究科博士課程修了後東京大学医科学研究所ヒトゲノム解析センターリサーチアソシエート理化学研究所ゲノム科学総合研究センター研究員フランス国立遺伝子多型解析センター CNG 研究員米国ノースウエスタン大学 Feinberg 医学部バイオインフォマティクススペシャリストなどを経て現職 2

3 自己紹介 : プロフィール石井一夫 ( 東京農工大学特任教授 ) 著書など : 著書図解よくわかるデータマイニング日刊工業新聞社 (2004) 翻訳書ソフトウェアエンジニアリング論文集 80 s デマルコセレクション翔泳社 (2006) 著書統計解析環境 Rによるバイオインフォマティクスデータ解析共立出版 (2007) 翻訳書翻訳バイオエレクトロニクス NTS(2008) 翻訳書 Rによる計算機統計学オーム社 (2011) 他 3

4 図解よくわかるデータマイニング ( 日刊工業新聞社 ) 著書 4

5 著書 (R 関係 ) 統計解析環境 R によるバイオインフォマティクスデータ解析 ( 共立立出版 ) R による計算機統計学 ( オーム社 ) 5

6 今日の内容ネット上にすでに要点だけアップしています OPSN Press メールマガジンオープンソースを使ってみよう ( 第 27 回フリーソフトウェアを用いたゲノム科学におけるビッグデータ処理 ) 6

7 ゲノム科学次世代シーケンサーマイクロアレイ質量分析装置などの装置の普及によりデータ産生量が爆発的に増えているギガベーステラべース級のゲノム解析データを処理して情報解析を行うことが必要な機会が増えてきたたとえば次世代シーケンサーのデータだと百塩基程度の配列データとそのクオリティデータで数千万データとか数億データとかをテキスト処理するとかそういうのは普通にある 7

8 次世代シーケンサーを用いたデータ解析次世代シーケンサー次世代シーケンサーのデータ解析 8

9 ゲノム科学でデータ解析に用いるソフトウェア群 OS Linux/UNIX(CentOS 6.3, Scientific Linux 6.3 and FreeBSD 9) プログラミング言語 Perl, Python, Ruby, Java, C, C++ データベース MySQL, PostgreSQL ゲノム配列データのアセンブリVelvet, ABySS, SOAPdenovo, WGS Assembler, MIRA3, Phrap ゲノム配列データのマッピング Bowtie, Bowtie2, BWA, SOAP RNA 発現解析用ソフト Tophat, Cufflinks, Trinity, Oases, SOAPdenovo-Trans ChIP-Seq 解析用ソフト MACS, Quest, SISSRs, SPP 統計解析ソフト R/Bioconductor, Octave 相同性解析注釈付けソフト BLAST, BLAT 総合 DNA 解析ソフトウェア EMBOSS 生物学データ解析用ライブラリ BioPerl, BioRuby, BioPython, BioJava ビッグデータ解析用ソフトウェア Hadoop, OpenStack, Eucalyptus 9

10 演習用 MacBook Pro にプレインストールされたゲノム解析用フリーソフトウェアの一覧 ( 一部 ) プログラミング言語等 Perl/BioPerl Ruby/BioRuby Python/BioPython Java/BioJava NumPy データベースソフト MySQL 統計解析 R/Bioconductor Octave ビューア IGV Tablet 品質チェック FastQC アセンブリソフト Velvet ABySS MIRA3 Phred/Phrap/Consed CAP3 マッピングソフト Bowtie Bowtie2 BWA RNA-Seq 解析ソフト Oases TopHat Cufflinks 相同性解析 BLAST/BLAST+ マルチプルアラインメント ClustalW ClustalX モチーフ解析ソフト HMMER MEME 系統樹解析など EMBOSS Phylip ChIP-Seq 解析ソフト MACS SISSRs QuEST SPP ビッグデータ解析用ソフト Hadoop, Hive 10

11 農学系ゲノム科学におけるビッグデータ解析の実施内容基礎技術レベル (3 ヶ月 ) 応用技術レベル (3 ヶ月 ) アドバンスレベル (3 ヶ月 ) 専門家レベル (3 ヶ月 ) プロレベル (3 ヶ月 ) E1:UNIX の操作データ解析環境の立立ち上げスクリプト作成 (Perl/Ruby/ Python) FreeBSD, Linux の操作インストール Perl などをもちいたテキスト処理理 E2:DNA 配列列アセンブリメタゲノム解析データベース構築 (SQL) Velvet, Oases, Trinity などの操作とデータアセンブリー方法原理理 MySQL, PostgreSQL を用いたデータベースの構築とクエリ集計 E3:RNA- Seq 解析 ChIP- Seq 解析統計解析 (R/MatLab) 発現定量量データの取得と統計解析パラメトリック検定ノンパラメトリック検定多変量量解析機会学習クラスター解析グラフックスによる視覚化 E4: 上記以外のデータ解析法 (QTL カスタムライブラリの解析 ) 遺伝統計解析統計モデリング ( 一般化線形モデル一般化加法モデルなど ) モンテカルロシミュレーションマルコフ連鎖モンテカルロ法遺伝学的系統樹解析 E5: 新規データ解析法の開発実装 (C/C++/Java) Perl, Python, Ruby, C,C++,Java を用いた新規アルゴリズムの実装

12 1. ゲノム科学で用いられるフリーソフトウェア次世代シーケンサーという DNA 塩基配列情報を大量に産生する機器が実用化されて数年が経過しゲノム科学におけるデータ産生量やその取り扱うデータ量が飛躍的に増えていますこれらのデータ処理には UNIX/Linux を中心とするフリーソフトウェアは欠かせません 12

13 (1) 汎用のフリーソフトウェア特に次世代シーケンサーのデータは例えばイルミナ社のデータですと 1 ファイルあたりに数千万断片から数億断片の DNA 塩基配列データとそのクウォリティデータが産生されますそれを (1) catやgrep sed awkなどのシェルのコマンドや (2) Perl Python Rubyなどのスクリプト言語 (3) R Octaveなどの統計解析言語を組み合わせて処理します必要に応じて (4) MySQL PostgreSQLなどのデータベースも使用しますむしろこのようなスケールのデータ解析ではデータベースは必須です 13

14 次世代シーケンサーからのデータ例 Fastq 1:N:0:ATGTCA AAGCATTCTAAGGCGAAGCCACCCATTCTTTCCTGCATATATACTTACAAACACATAGCCCCCATCT + 1:N:0:ATGTCA AAGCTTTCTGGTGATCGACGCGCATGGCCATGAGGAGGACTCGTCGCCGGATCATCCTCCCGTTTC + 1:N:0:ATGTCA GGAAATTTAAGCGACCACGAAGAGTATGACGCTGGTGAAGATTGGTCCGTGGGGCGGAAATGGA + 1:N:0:ATGTCA ATTAAGAAGAGAAGGCACTTGTCAGATGGTTCGAAGCATATGCTTACTGAAATGGAGAGAGCAGA + 1:N:0:ATGTCA AAAAAAATAGAAATCTCTCACTATGAAGTATGAACTCAACATGGACTATCATACGACCATCATGCC + 1:N:0:ATGTCA GACCCAAGGGCAGCAGCAGGGCTACTCTCAGCAGACTGGATATGATCAGTAGGGCTATGGAACTT

15 次世代シーケンサーからのデータ例 Fastq ファイル 1:N:0:ATGTCA AAGCATTCTAAGGCGAAGCCACCCATTCTTTCCTGCATATATACTTACAAACACATAGCCCCCATC + 1:N:0:ATGTCA AAGCTTTCTGGTGATCGACGCGCATGGCCATGAGGAGGACTCGTCGCCGGATCATCCTCCCGTTT + 1:N:0:ATGTCA GGAAATTTAAGCGACCACGAAGAGTATGACGCTGGTGAAGATTGGTCCGTGGGGCGGAAATGGA + 1:N:0:ATGTCA ATTAAGAAGAGAAGGCACTTGTCAGATGGTTCGAAGCATATGCTTACTGAAATGGAGAGAGCAG + 1:N:0:ATGTCA AAAAAAATAGAAATCTCTCACTATGAAGTATGAACTCAACATGGACTATCATACGACCATCATGCC

16 次世代シーケンサーからのデータ例 Fastq ファイル 1 行行目配列列名 2 行行目 DNA 1:N:0:ATGTCA AAGCATTCTAAGGCGAAGCCACCCATTCTTTCCTGCATATATACTTACAAACACATAGCCCCCATCT + HHHHHHHHHHHHHHHHHHHHHHHHAHGHHHHHDFHHHHHHGHHHHHHHHHHHHHHHHHHHF 4 行行目 DNA の塩基のクオリティ

17 #!/usr/bin/perl # Name: fastq- SeqExtract.pl # usage: # perl fastq- SeqExtract.pl input_ filename start end output_ filename # or # chmod +x fastq- SeqExtract.pl #./fastq- SeqExtract.pl input_ filename start end outoutfilename # by Kazuo Ishii, Ph.D., NOV $input = $ARGV[0]; $start = $ARGV[1]; $end = $ARGV[2]; $output = $ARGV[3]; open ( FILEHANDLE, "< $input") ; open ( FILEHANDLE2, "> $output" ) = <FILEHANDLE> ; chomp(@array); chomp($start); chomp($end); $start1 = $start- 1; $end1 = $end - $start; for (my $i = 0; $i <= $#array; $i += 4){ $array[$i+1] = substr($array[$i+1],$start1,$end1); $array[$i+3] = substr($array[$i+3],$start1,$end1); print FILEHANDLE2 "$array[$i]_ $input- $start- $end\n$array[$i+1]\n$array[$i+2]\n$array[$i+3]\n"; } close(filehandle); close(filehandle2); テキスト処理理のための Perl スクリプトの例例 17

18 生物学的なデータ解析専用のソフトウェアもちろん生物学的な情報解析専用のソフトウェアも多数開発されています例えば (1) 配列データのアセンブリには Velvet Oases Trinity (2) 配列データの既知の配列へのマッピングには BWA Bowtie などが (3) 得られた配列データと既知の配列との相同性検索には BLAST などが用いられます Perl Python Ruby Java などには (4) 生物学的解析に特化した関数などを集めたライブラリが整備されておりそれぞれ BioPerl BioPython BioRuby BioJava と呼ばれていますまた R には (5) Bioconductor と呼ばれる生物学的解析用のパッケージ群が存在します 18

19 次世代シーケンサーの解析ワークフロー RNA-Seq の場合 1. ローデータ bcl ファイル,fastq ファイル 2. クウォリティチェック FastQC -> フィルタリングトリミング Cutadapt, Perl スクリプト 3. アセンブリ Velvet, Oases, Trinity, SOAPdenovo. 4. マッピング BWA, Bowtie, (Maq), TopHat, Cufflinks など

20 次世代シーケンサーの解析ワークフロー RNA-Seq の場合 1. ローデータ bcl ファイル,fastq ファイル 2. クウォリティチェック FastQC -> フィルタリングトリミング Cutadapt, Perl スクリプト 3. アセンブリ Velvet, Oases, Trinity, SOAPdenovo. 4. マッピング BWA, Bowtie, (Maq), TopHat, Cufflinks など

21 FASTQC によるクオリティチェック

22 次世代シーケンサーの解析ワークフロー RNA-Seq の場合 Viewer で閲覧 Samtools などを用いてインデックスを作成する IGV, Tablet などで閲覧

23 次世代シーケンサーの解析ワークフロー RNA-Seq の場合 5. カウントデータの採取 (1)Sam ファイルを Bed ファイルに変換し R/ Bioconductor パッケージでカウントデータ RPKM を算出 MA-plot を書く (2)Sam ファイルを awk, grep で整形し sort, uniq などでカウントデータ RPKM を算出 (3)Sam ファイルを MySQL データベースに格納し MySQL を用いてカウントデータを算出 RPK M を算出

24 次世代シーケンサーの解析ワークフロー RNA-Seq の場合データマイニングいわゆる統計解析とかクラスター解析とか PCA とかマイクロアレイでやられていた方法に持ち込むパスウェイ解析 GO とか KEGG とか GESA とか

25 次世代シーケンサー解析ワークフロー RNA-Seqの場合 6. アノテーション BLAST 検索結果を (1) シェルスクリプトや Perl などで抽出 (2) データベースに収納し SQLで抽出して整理する 7. グラフ作成 8. 統計解析データマイニング

26 R でグラフ作成

27 R でグラフ作成

28 R でグラフ作成

29 実際の解析風景 33

30 次世代シーケンサーの解析ワークフロー ChIP-Seq の場合 Read の mapping 1. ローデータ bcl ファイル,fastq ファイル 2. クウォリティチェック FastQC -> フィルタリングトリミング Cutadapt, Perl スクリプト 3. アセンブリ Velvet, Oases, Trinity, SOAP-denovo. 4. マッピング BWA, Bowtie, (Maq), TopHat, Cufflinks など基本的に RNA-Seq とよく似ています

31 次世代シーケンサーの解析ワークフロー ChIP-Seq の場合 Viewer で閲覧 Samtools などを用いてインデックスを作成する IGV, Tablet などで閲覧

32 次世代シーケンサー解析ワークフロー ChIP-Seq 5. ピークコーリング Peak calling SISSRs, MACS, PeakSeq, QuEST, FindPeaks,SPP, CisGenome などでピークの位置を特定 6. ピーク位置からピークの配列を抽出しクラスタリング 7. モチーフ解析 Motif enrichment analysis in sequences under peaks

33 次世代シーケンサー解析ワークフロー ChIP-Seq 6. アノテーション Peak annotation/filtering ChIPPeakAnno などで検索結果を (1) シェルスクリプトや Perl などで抽出 (2) データベースに収納し SQL で抽出して整理する 7. グラフ作成 8. 統計解析データマイニング Differential peak analysis

34 次世代シーケンサー解析ワークフローまとめ ChIP-Seq 1. Read mapping 2. Peak calling 3. Peak annotation/filtering 4. Differential peak analysis 5. Motif enrichment analysis in sequences under peaks

35 ピークコーリングピークコーリングソフト CisGenome, ERANGE, FindPeaks, F-Seq, GLITR, MACS, PeakSeq, QuEST, SICER, SiSSRs, spp, Useq etc

36 ChIP-Seq に用いられる R パッケージ GenomicRanges : 遺伝子の特定範囲の取り扱い Rsamtools : BAM の処理 Rtracklayer : ゲノムブラウザからのアノテーション情報取り込み DESeq : RNA-Seq edger : RNA-Seq Chipseq : ChIP-Seq 解析ソフト ChIPpeakAnno : ゲノム情報によるピークのアノテーション多くの解析は R を使わなくても SAMTools などで代用可能

37 ピークコーリングなどに用いられる R パッケージ BayesPeak : 隠れマルコフモデルとベイズ統計 PICS : ChIP-Seq の確率推論 DiffBind Link : ChIP-Seq ピークデータの結合差解析 Overlap 計算 Boxplot, PCA biplot, heatmap による可視化 edger, DESeq をつかった binding affinity 解析 MOSAiCS : モデルから期待される値に fitting iseq Link : 隠れイジングモデルによる結合部位の同定 ChIPseqR : タンパク結合部位とヌクレオソーム位の推定 CSAR: ポアソン分布による検定 ChIP-Seq :SPP を用いる ChIP-Seq 解析パイプライン SPP: ピークコーリング

38 統計解析マイクロアレイが比率データであるのに対し次世代のデータはカウントデータであるこのため負の二項分布 ( 又はポアソン分布 ) を示すゼロ値をもつ遺伝子が極端に多いことも考慮する必要あり

39 BioPerl, BioRuby などによる解析 BioPerl, BioPython, BioRuby, BioJava とは Perl, Python, Ruby, Java などで生物学的情報処理に用いられる専用ライブラリ検索などを自動化 54

40 使用例 (BioRuby) Genbank GeneID(Acc) リストからアノテーション情報を自動取得 #!/usr/bin/env bioruby # bioruby script.rb > out.txt File.open("ListGenbank.txt").each do item Bio::NCBI.default_ = "kishii@cc.tuat.ac.jp entry = getent("genbank:#{item}") gb = flatparse(entry) item1 = item.chomp print item1, "\t", gb.definition, "\t", gb.organism, "\n" end 55

41 使用例 (BioPerl) Genbank GeneID(Acc) リストからアノテーション情報を自動取得 #!/usr/bin/perl -w use Bio::DB::GenBank; use Bio::Species; my $file = $ARGV[0]; open(my $fh, "< $file") or die "Cannot open $file: $!"; while (my $line = readline $fh) { chomp $line; $db_obj = Bio::DB::GenBank->new; $seq_obj = $db_obj->get_seq_by_acc($line); print $seq_obj->accession, "\t", $seq_obj->desc, "\n"; } 56

42 今後の課題 (1) ビッグデータ解析のための教科書など教材の整備 (2) ビッグデータ解析のためのデータベースなどの整備各種アノテーションデータベースの整備 (3) クラウドによるビッグデータ解析環境の整備 Hadoop, OpenStack など 57

自己紹介 : プロフィール石井一夫 ( 東京農工大学特任教授 ) 専門分野 : ゲノム科学バイオインフォマティクスデータマイニング計算機統計学経歴 : 徳島大学大学院医学研究科博士課程修了後東京大学医科学研究所ヒトゲノム解析センターリサーチアソシエート理化学研究所ゲノム科学総合研究セン

自己紹介 : プロフィール石井一夫 ( 東京農工大学特任教授 ) 専門分野 : ゲノム科学バイオインフォマティクスデータマイニング計算機統計学経歴 : 徳島大学大学院医学研究科博士課程修了後東京大学医科学研究所ヒトゲノム解析センターリサーチアソシエート理化学研究所ゲノム科学総合研究センフリーソフトによるゲノム科学におけるビッグデータ解析の実際石井一夫東京農工大学農学系ゲノム科学人材育成プログラム 1 自己紹介 : プロフィール石井一夫 ( 東京農工大学特任教授 ) 専門分野 : ゲノム科学バイオインフォマティクスデータマイニング計算機統計学経歴 : 徳島大学大学院医学研究科博士課程修了後東京大学医科学研究所ヒトゲノム解析センターリサーチアソシエート理化学研究所ゲノム科学総合研究センター研究員