（タイトル未定）

Size: px

Start display at page:

Download "（タイトル未定）"

たかとしほがり
4 years ago
Views:

1 次世代シーケンシングデータ解析の可能性を拡げる信頼性に優れた道具としての解析システム Takeru for Sequencer シリーズ生命医薬情報学連合大会 2013 Luncheon seminar 株式会社ナベンターナショナルセールスマーケテゖング部渡辺理恵 1

2 今日お話しすることデータ解析ソフトウェゕ使用にあたり発生する問題とそれらへの Takeru による対応フゔルゕクセス速度分散フゔルシステム Lustre の紹介 NFS との性能比較 ( 動画 ) ハードウェゕその必要性と求める要素 2

3 1 データ解析ソフトウェゕ使用にあたり発生する問題とそれらへの Takeru による対応フゔルゕクセス速度分散フゔルシステム Lustre の紹介 NFS との性能比較 ( 動画 ) ハードウェゕその必要性と求める要素 3

4 データ解析ソフトウェゕの豊富さ Too many Varies Who installs? 4

5 豊富さへの Takeru 対応ソフトウェア名備考ソフトウェア名備考 ABySS AGeS ALL-PATHS AMOS BFAST Bioconductor biojava biojava3 bioperl Biopython bioruby Arachne ARB CAP3 CLC Genomics Workbench Cytoscape Ensembl FastQC FragGeneScan GATK BLAT アカデミックフリー GBrowse2 Bowtie GView 有償 Bowtie2 Galaxy Grid Scheduler 対応 BWA IDBA-UD clustalw InterProScan Grid Scheduler 対応 Cufflinks Edena EMBOSS erange fastx_toolkit Maqview MEME Meta-IDBA MISO MrBayes hmmer Qiime Grid Scheduler 対応 MAFFT MAQ MIRA3 MUMmer ncbitools numpy PHYLIP SAMtools scipy SOAP SOAPdenovo SRA Toolkit TopHat TopHat2 trinity Velvet デフォルトでインストール Velvet SC QuEST siissrs spp T-COFFEE Tablet ご希望により追加できるもの trans-abyss trnscanse UCSC GB その他ご希望のもの Bowtie2, Velvet, Allpaths-LG, Cufflinks 40 software and more + OS ラブラリ + CPU コゕ負荷分散解析ソフトウェゕ構築済み 5

6 ウェブベースのゲノムブラウザツール Public Too large UCSC Genome Browser Our data Galaxy 6

7 ウェブベースへの Takeru 対応ローカル構築 UCSC Genome Browser 数十 GB 自前データ更新データ network HDD 50 < 負荷分散 Galaxy ウェブベースソフトウェゕのローカル構築 7

8 NGS 技術進化の速さ Output increase Technology upgrade Informatics Mardis E. A decade's perspective on DNA sequencing technology. Nature, 470: Project term: 3-5 years 8

9 進化の速さへの Takeru 対応 Project term: 3-5 years 追加 + ゕップグレード + 設定変更 Takeru Project-Lifetime Support 9

10 2 データ解析ソフトウェゕ使用にあたり発生する問題とそれらへの Takeru による対応フゔルゕクセス速度分散フゔルシステム Lustre の紹介 NFS との性能比較 ( 動画 ) ハードウェゕその必要性と求める要素 10

11 データ解析システムを拡張したい計算ノード数が増える CPU コゕ数が増える NFS(Network File System) 速度では不足? 11

12 フゔルゕクセス速度を上げる Lustre Ceph HDFS SSD ネットワーク FhGFS Gluster Gfarm GPFS etc. 分散フゔルシステム分散フゔルシステム Lustre 12

13 世界における Lustre Lustre is the Top500 leader. ~50% of the Top (Lustre) is used in over 60% of the TOP100 supercomputing sites e1.pdf p.5 から Lustre 言及部分を抜粋スパコンでは一般的 13

14 Lustre は supercomputer 向け? 14

15 (Lustre Filesystem: NFS との比較略 ) 15/20

16 Lustre は supercomputer 向け? 8 ノード 16 ノード規模のクラスターシステムにおいても I/O 性能を必要とするゕプリケーションであれば Lustre が有効 16

Lustre OSS Lustre OSS Lustre OSS Lustre OSS Head node RAID server

17 Takeru Voyager Cluster Lustre 構築済み + Lustreクラゕント ( 計算ノード ) を含むall-in-one 構成 + NGS 解析ソフトウェゕ構築済みでサポートを含むone-stop service Lustre MDS Infiniband SW Lustre OSS Lustre OSS Lustre OSS Lustre OSS Head node RAID server 計算ノード計算ノード計算ノード計算ノード計算ノード計算ノード計算ノード計算ノード計算ノード計算ノード計算ノード計算ノードスパコン級のフゔルゕクセスを手元で実現する 17

18 3 データ解析ソフトウェゕ使用にあたり発生する問題とそれらへの Takeru による対応フゔルゕクセス速度分散フゔルシステム Lustre の紹介 NFS との性能比較 ( 動画 ) ハードウェゕその必要性と求める要素 18

19 ハードウェゕ導入の必要性スーパーコンピュータークラウド受託解析研究室にて導入手元でもデータセンターを構築する 19

20 どんなシステムを求めるか堅牢なハードウェゕ解析システム周りの IT 環境整備含むハードウェゕ / ソフトウェゕの切り分けを含むサポート 20

21 データ解析システム構成例 Takeru Voyager Cluster Takeru Large-Memory Server IV NEO Takeru for Sequencer 拡張ローカルストレージ構成 Takeru GPGPU 搭載サーバー Takeru for Sequencer IV Takeru Lite for Sequencer II Takeru Peta-File Server for Sequencer 最適な環境を構築 21

22 まとめ解析ソフトウェゕ構築済み Lustre 構築済みにより高速フゔルゕクセスを手元で実現ハードウェゕを含めて最適な環境を構築 22

ソフトウェアについて Rev 年 1 月 16 日このマニュアルでは標準でインストールしているソフトウェアの入手元インストール方法の概要インストール場所についてご案内致します ABySS

ソフトウェアについて Rev 年 1 月 16 日このマニュアルでは標準でインストールしているソフトウェアの入手元インストール方法の概要インストール場所についてご案内致します ABySS このマニュアルでは標準でインストールしているソフトウェアの入手元インストール方法の概要インストール場所についてご案内致します ABySS http://www.bcgsc.ca/platform/bioinfo/software/abyss/ abyss 1.3.4.tar.gz tar xvzf abyss 1.3.4.tar.gz cd abyss 1.3.4./configure prefix=/usr/local/abyss