<4D F736F F F696E74202D205B979D8CA C5D20836F CA48B868ED28CFC82AF8E B F72312E B8CD

Size: px

Start display at page:

Download "<4D F736F F F696E74202D205B979D8CA C5D20836F CA48B868ED28CFC82AF8E B F72312E B8CD"

たみえたつざわ
4 years ago
Views:

1 理研シンポジウム 2008 独立行政法人理化学研究所和光本所鈴木梅太郎ホール 2008 年 3 月 13 日バイオ研究者向け支援サービス独立行政法人理化学研究所情報基盤センター横浜チームスパコン利用者から見るバイオインフォマティクス概要工学 12% 脳科学 3% 情報工学 7% 化学 7% 物理学 35% ライフサイエンス 36% RSCC( スパコン ) 利用のユーザ比率工学情報工学 2% 2% 物理学 11% ライフサイエンス 14% 横浜研究所 GSC PSC SRC RCAI 中央研究所筑波研究所 BRC 神戸研究所 CDB 分子イメージング化学 2% その他 1% 原子核高エネルギー物理 68% 研究分野ごとの利用時間の割合 ( スパコン PC クラスタ部分 ) 1

バイオ向けインフラ概要バイオ研究者向け支援サービスバイオ公共 DB ミラーリングサーバ ( 公共 DB) バイオ系基盤インフラの要

DB RSCC 横浜 SMP のサービスをラップした Web アプリケーションどちらかというと wet 研究者技術者向け GUI

NCBI,EMBL-EBI,PDB 等で公開されているバイオ系データベースの理研内部向けミラーリングサーバ 2003 年 8 月サービス開始

2 バイオ向けインフラ概要バイオ研究者向け支援サービスバイオ公共 DB ミラーリングサーバ ( 公共 DB) バイオ系基盤インフラの要 RIKEN Super Combined Cluster(RSCC) 大量ジョブ投入ユーザ向き大型計算リソース Bio Portal 公共 DB RSCC 横浜 SMP のサービスをラップした Web アプリケーションどちらかというと wet 研究者技術者向け GUI を採用した Bioinformatics 初心者向きバイオ公共 DB ミラーリングサーバ ( 公共 DB) NCBI,EMBL-EBI,PDB 等で公開されているバイオ系データベースの理研内部向けミラーリングサーバ 2003 年 8 月サービス開始 ftp://yicdb.yokohama.riken.jp/pub/ DB を毎日更新確認し一括でダウンロード高速かつ安定したダウンロードが可能バイオ公共 DB ミラーリングサーバ 2

3 公共 DB 公開 DB 一覧 2008 年 1 月 7 日現在バイオ系データベース配列データベース遺伝子発現データベース代謝経路データベース化合物データベース相互作用データベース文献情報データベースミラーリングされている代表的なDB 無償で公開されている代表的なものはほぼ網羅 ftpダウンロード状況 2007 年度 (2007/04/ /02/29) 合計ダウンロードファイル数 : 4,024,029 files, 合計ダウンロードファイルサイズ : 7,750,345,527,186 Bytes ( のべ数にて ) DB 名データ容量 DB 名データ容量 BLASTDB(NCBI) 約 118GB genomes(ncbi) 約 225GB DDBJ Rlease 約 139GB GEO 約 2376GB DDBJ New 約 14GB GO 約 2GB EMBL Release 約 100GB goldenpath 約 932GB EMBL New 約 8GB KEGG 約 159GB Ensembl 約 1029GB PDB 約 133GB GenBank Release 約 153GB PFAM 約 93GB GenBank New 約 3GB 1 世代あたりのの容量 [TB] 公共 DB ストレージ増設状況ミラーリング状況 DB 容量の指数的な増加空き容量の圧迫ディスクの追加を必要に応じて実施実際は 2 世代管理しているので必要容量は倍以上! 現行機はシステム全体で最大 29TB( 実質 14TB) 2003/8 Phase1 HP(Linux) 導入 2006/9 Phase2 富士通 (Solaris) 導入 2010/9 Phase3 次期システム導入予定時期 /1 2005/1 2006/1 2007/1 2008/1 2009/1 2010/1 3

RIKEN Super Combined Cluster (RSCC) Linuxクラスタとベクトル計算機 SX-7から構成される共用計算機 2004 年 4 月から現行機サービス開始 http://ccr.riken.jp/rscc/index.

4TFLOPS メモリ :4GB/node(pc1) 2GB/node(pc2) pc2d 256cpu pc1-1024cpu RSCC の CPU 構成 pc2c 256cpu pc2b 256cpu pc2a 256cpu MDGRAPE-3 2007/4 導入 RSCC にインストールされているアプリケーション BLAST 2.2.10 /usr/local/bio/blast Hi-per BLAST /opt/hiperblast/bin/hiperblast FASTA /usr/local/bio/fasta HMMER 2.

4 RIKEN Super Combined Cluster (RSCC) Linuxクラスタとベクトル計算機 SX-7から構成される共用計算機 2004 年 4 月から現行機サービス開始 Linuxクラスタ部は1024ノードから構成 1CPUジョブバイオ系アプリ ( 分散型ジョブ ) はpc2a Linux クラスタシステム 1024 ノード (2048CPU) CPU:Inter Pentium Xeon 3.06GHz ピーク理論性能 :12.4TFLOPS メモリ :4GB/node(pc1) 2GB/node(pc2) pc2d 256cpu pc1-1024cpu RSCC の CPU 構成 pc2c 256cpu pc2b 256cpu pc2a 256cpu MDGRAPE /4 導入 RSCC にインストールされているアプリケーション BLAST /usr/local/bio/blast Hi-per BLAST /opt/hiperblast/bin/hiperblast FASTA /usr/local/bio/fasta HMMER /usr/local/bio/hmmer CLUSTALW 1.83 /usr/local/bio/clustalw InterProScan /usr/local/bio/iprscan/l l/bio/i GOLD / Rmpi + Bioconductor / wise / RepeatMasker / MaskerAid MDGRAPE-3 ライブラリ 4

RSCC ですぐに利用できる DB 2008/1/31 現在 /work/biodb/current/pub/ DB 名概要公開元サイトデータ容量 BLASTDB 相同性検索用データベース National Center for Biotechnology Information ftp://ftp.ncbi.nlm.nih.

org/pub/ 約 46GB genomes(ncbi) 生物別ゲノムデータベース National Center for Biotechnology Information ftp://ftp.ncbi.nlm.nih.gov/genomes/ 約 218GB Pfam タンパク質ドメインデータベースタ The Sanger Institute ftp://ftp.sanger.ac.

5 RSCC ですぐに利用できる DB 2008/1/31 現在 /work/biodb/current/pub/ DB 名概要公開元サイトデータ容量 BLASTDB 相同性検索用データベース National Center for Biotechnology Information ftp://ftp.ncbi.nlm.nih.gov/blast/ 約 120GB Ensembl 生物別ゲノムタンパク質データベース (homo_sapiens など一部種に限定 ) The Ensembl project ftp://ftp.ensembl.org/pub/ 約 46GB genomes(ncbi) 生物別ゲノムデータベース National Center for Biotechnology Information ftp://ftp.ncbi.nlm.nih.gov/genomes/ 約 218GB Pfam タンパク質ドメインデータベースタ The Sanger Institute ftp://ftp.sanger.ac.uk/pub/databases/pfam/ b /Pf / 約 89GB PDB タンパク質構造データベース The RCSB Protein Data Bank ftp://ftp.wwwpdb.org/ 約 70GB PROSITE タンパク質配列モチーフデータベース Expert Protein Analysis System ftp://ftp.expasy.ch/databases/ 約 4.2GB Uniprot アミノ酸配列データベース The universal protein resource ftp://ftp.uniprot.org/pub/databases/ 約 56GB Bio Portal Bioinformatics 入門者向けサービス 2005 年 3 月からサービス開始ブラウザベースの GUI(Web アプリケーション ) 公共 DB RSCC を意識せずに包括的な利用が可能アプリケーション BLAST FASTA CLUSTALW HMMER InterProScan 5

6 Bio Portal システム概要最新DBのダウンロード DBの同期 DBの同期大規模ジョブの処理結果の取得小規模ジョブの処理ジョブ処理依頼 Bio Portal システムの特徴全理研から利用可能 2008/3現在ユーザ登録数63名利用するDBサイズによって計算リソース RSCC/横浜 SMPサーバを振り分けるアルゴリズム H.Yuasa, T.Iwasaki, M.Kurokawa, T.Shigetani, T.Horiki, R.Himeno, Development of User friendry Supercomputing Portal in Bio Research Field, User-friendry Field e-science, e Science (2005) (2005). RSCC / 横浜SMPサーバで利用するDBは公共DBから最新のものをダウンロード browser-base のアプリケーションとして振舞う高い処理能力とインフラ構築に必要なコストの節約が可能 6

html ポータル画面トップ https://yic-bio-web.yokohama.riken.

7 Bio Portal クライアント動作条件動作条件理研のネットワークに接続できるPC 等標準的な Web ブラウザ (JavaScript は ON) IE / Firefox / Safari JAVA 1.4.2_05 以上利用申請ポータル画面トップ y + + 利用説明は Bio Portal ご利用開始ガイドをご覧ください Bio Portal 次期計画 Current! fiscal year Phase1 Phase3 Phase5 Phase6 Phase7 Phase8 Phase9 Phase2 Phase

8 状況確認次期スパコンリプレースが 2009 年 4 月 Bio Portal は来年度以降の開発計画 3 年間でユーザの利用形態は多様化データマイニング可視化の多様化ツールのパイプラインワークフロー化商用アプリの浸透 input output input Logic output Logic 1 Logic 2 input Logic 1 Logic 2 Logic 3 output 現行システムの機能一覧機能単位 Interface DB 更新処理ジョブステータス管理認証ユーザ管理アプリロジック切り替えリソース選択障害管理密結合であることの利点と問題点トランザクション開発テスト工程数 8

9 Interface の問題点 Interface と機能の実装が密結合ソフトウェアパーツの寿命ポータルの基幹部分と Interface のライフサイクルを同じにするとデータマイニングの陳腐化サービスの停滞バイオ系研究者のアクティビティ Bioinformatics Link Directory リンク数 1200 (2007 年のUpdate 数 130) J.A.Fox, S.McMillan, B.F.F.Ouellette, Conducting Research on the Web: 2007 Update for Bioinformatics Links Directory, Nucleic Acid Research, Vol.35, No.Web Server issue W3-W5 (2007). 他の問題点システムの巨大化複雑化保守コストの増大ソフトウェアパーツの再利用性の低下ハードエラーよりもソフト ( 運用 ) エラーの方がはるかに発生しやすいパッケージング組み立てキット? 完成品? ユーザの好みは理研におけるユーザ層の広がり 9

10 現行システムの見直し情報基盤センターはリソース提供者プログラムによるハンドリングハードコードされたバインディングではなく必要に応じて変更できるシステムサービスの粒度とユーザビリティ複数のアプリケーション ( サービス ) の連携 Interfaceの柔軟な変更 Web サービス化 Web サービス主に HTTP 上で動作し RPC や XML でメッセージ交換を実現する技術システム連携をする上で相互運用性が優れている技術アウトソーシングの基本形プログラムスクリプト中からリソースを利用するための技術 SOAP(RPC) と REST RESTの利点軽量 (Lightweight) XMLが単純可読性が高い開発が容易 GET / POST / PUT / DELETE SOAPの利点 ( プログラマ的に ) 使いやすいこと W3Cによる規格 ( プロトコル ) であること開発ツールが多いこと ( マルチベンダー化 ) 10

11 バイオ系サイトの Web サービス DDBJ(DNA Databank of Japan) Web API for Bioinformatics (WABI) EBI(European Bioinformatics Institute) NCBI(National Center for Biotechnology Information) Entrez Programming Utilities KEGG(Kyoto Encyclopedia of Genes and Genomes) PathPort ToolBus tools / BioMOBY / BIND RSCC 次期システム Webクライアントの1つとしてBio Portal を運用アプリケーションのワークフローパイプラインはクライアント増設で対応複数年度で計画 RIA アプリケーション拡張 API 認証ユーザ管理ジョブ管理障害管理 Webサービスサーバサ client Webサービスクライアント Interface 障害管理 JAVA / Perl / Python / PHP / Ruby / C# Web サービスサーバ (SOAP) MJS 制御用ミドルウェア基本 API MJS / NQS ファイル転送用ミドルウェア Application(BLAST, InterProScan) 第 1 段階 : シンプルなトランザクション第 2 段階 :Bio Portal の Web クライアント化第 3 段階 : 特定のグループとの相互運用 11

12 課題スループットの保持ファイル転送方法大ペイロード対策ユーザデータの扱い横浜側リソースとの連携機能ごとに開発されたソフトウェアパーツの再利用性の維持マルチベンダー開発時の責任分解点まとめ公共 DB ストレージ容量強化テープ装置とディスク装置の透過的な運用テープ装置の見直し RSCC 2009 年 4 月にリプレース予定 Bio Portal Web サービス化データマイニング可視化方法の見直し 12

1重谷.PDF

1重谷.PDF RSCC RSCC RSCC BMT 1 6 3 3000 3000 200310 1994 19942 VPP500/32PE 19992 VPP700E/128PE 160PE 20043 2 2 PC Linux 2048 CPU Intel Xeon 3.06GHzDual) 12.5 TFLOPS SX-7 32CPU/256GB 282.5 GFLOPS Linux 3 PC 1999