目次 1. R graphical manuals 開発の経緯に関する ( かなり長い ) 説明 1 研究の紹介 ( 自己紹介 ) 2 研究推進上の問題 3 問題の解決策と R graphical manuals との関係 2. R graphical manuals の紹介と今後の展開

Size: px

Start display at page:

Download "目次 1. R graphical manuals 開発の経緯に関する ( かなり長い ) 説明 1 研究の紹介 ( 自己紹介 ) 2 研究推進上の問題 3 問題の解決策と R graphical manuals との関係 2. R graphical manuals の紹介と今後の展開"

まいえなかじゅく
5 years ago
Views:

1 R graphical manuals の開発と今後の展開小笠原理 ( 国立遺伝学研究所生命情報 DDBJ 研究センター ) 服部恵美三十尾潔高 ((( 株 ) 情報数理研究所 )

2 目次 1. R graphical manuals 開発の経緯に関する ( かなり長い ) 説明 1 研究の紹介 ( 自己紹介 ) 2 研究推進上の問題 3 問題の解決策と R graphical manuals との関係 2. R graphical manuals の紹介と今後の展開

3 開発の経緯 1 研究の ( なるべく短い ) 紹介

4 mrna 量を測定する目的 Chromosome mrna Protein Gene A Gene B 1. 細胞は Protein の量を適正に保つために mrna Gene 量を制御している C 2. Protein 量を測定するよりもmRNA 量を測定するほうが容易

5 mrna 量の測定方法 Chromosome mrna (-> cdna) Gene A Gene B Gene C hybridization Random Sampling And Sequencing Microarray 法 A : 2 B : 4 C : 1... EST 法 SAGE 法

6 ヒト肝臓における mrna 量の分布 (dbest LibID. 6989) rank gene occurrence (EST counts) frequency 1 Albumin Fibrinogen, gamma 2 Fibrinogen gamma chain Serine proteinase inhibitor, clade A, member 1 Aldehyde 4 Orosomucoid Dehydrogenase 1 5 SAA1: Serum amyloid A Ferritin, light polypeptide Haptoglobin Apolipoprotein H SAA2: Serum amyloid A Albumin Metastasis associated lung adenocarcinoma transcript 1 (non-coding RNA) total: 9292 The Zipf s Law

7 ヒト肝臓における mrna 量の分布 100 種類 (1% 足らず ) の遺伝子が細胞内の mrna 分子数の約 50% を占める

8 この現象は普遍的である liver brain frequency frequency testis kidney ほかに D. melanogaster, C. elegans, A. thaliana など rank rank

9 測定のバイアスの所為ではない EST CGAP SAGE GeneChip HG-U95A

10 開発の経緯 2 研究推進上の問題

11 ( 一見簡単そうな解析でも ) いちいち手間がかかる mrna 量の 2 種類の測定方法の間で結果がどの程度一致するか? 左図にまつわる一連の解析で数万行の ( 使い捨て ) スクリプト数百の ( 中間 ) テーブルが作られた数百 GB のディスクスペースの浪費非常にもったいない効率が悪すぎる!

12 症状この 2 ヶ月まえに作られた Excel ファイル 30 個ぐらいあるけどこれってどんな解析したの? 小笠原さんそれを解読するぐらいならやり直したほうが早いと思います

13 症状この遺伝子発現データ臓器ごとにシグナルをノーマライズしてから場合わけして計算したんだよね? そのはずですがなんかおかしいですねぇやり直しましょうか

14 効率が悪い原因 (1) 解析作業の一般的な流れもとデータ (public DB, 実験データ ) データ管理用テーブル (RDB のテーブルなど ) ( ゲノム界では ) データの書式に統一がない研究者の数だけデータベースがありデータベースの数だけ書式がある ( 統一規格があっても不便用語も不統一データのサイズも大きい ) 解析用テーブル結果 ( 図表など ) SQL, Perl,.. R, Excel, Mathematica,.. スクリプト数増大管理困難

15 効率が悪い原因 (2) 解析作業の一般的な流れもとデータ (public DB, 実験データ ) データ管理用テーブル (RDB のテーブルなど ) 解析用テーブル結果 ( 図表など ) SQL, Perl,.. R, Excel, Mathematica,.. ( 研究だから ) 条件を変えてやり直しという場合が多い ( 生物学には理論がないので ) さまざまな場合わけを行いそれぞれの場合について計算をやり直すことが多い作業全体のやり直しに耐えられるような管理方法が必要

16 ほかの人は大抵どうしているのか? なるべく早く Excel へ (Excel のほうがスクリプト書くより楽だから ) Perl でもとデータを変形 Excel (or Access) 上で統計処理し結果を得る Excel や Access のような GUI ベースのプログラムでは実際には何をやったかについての記録が完全には残らない残るのは何をやったつもりであるかの記憶のみバグがないプログラムを書くのが非常に困難であるのと同様に GUI プログラムでつもりを何度も正確に実行するのも非常に困難であるにちがいないのである

17 問題多数の小さなスクリプトを効率よく管理したい ( 図表についても同様 ) 作業全体のやり直しに耐えるような管理方法がほしい

18 開発の経緯 3 研究推進上の問題を解決する

19 Duckbill An executable documentation system for data analysis 実験ノートを書くのと同じ感覚でデータ解析ノートを書きながら解析作業を進めるノートがそのまま動作する

20 Duckbill An executable documentation system for data analysis 1. ユーザーは ( 好みの ML を用いて ) 解析作業に関する文書を書く 2. 文章の中に解析スクリプトを埋め込む 3. Duckbill システムはこの文書中のスクリプトを順次実行し結果を表示する #title: #title: * Chapter * Chapter ** Section ** Section %begin{loop} // scripts, HTML, [[result11.jpg]] // etc [[result12.jpg]] Duckbill %end{loop} Markup compiler Language compiler Duckbill source file Markup language Report source file (HTML, PDF,...) (Wiki, LaTeX, etc...) Markup Languageは何を使っても良い (Rに限らず) バッチで動作するものなら何でも統合可能 Loop, ifなどの制御構造を持つスクリプト部分の実行

21 Duckbill の使い方 * 目的 : 遺伝子取りの年表 %begin{loop} %counter: %Species%=human,mouse,rat ** データをテーブルにする %begin{file}[run(perl)]{tmp/foo.pl} open(sesame, human_data.txt ); %Species%_data.txt); %end{file} -[[table/%species%_table.txt]] -[[table/human_table.txt]] ** 可視化する %begin{file}[run(r)]{tmp/foo.r} read.table(filename= tmp/%species%_table.txt ) read.table(filename= tmp/human_table.txt ) %end{file} %end{loop}

22 効果 1. テーブルやスクリプトの目的や作成方法がドキュメントの文脈から簡単にわかるようになるので管理が容易になる小さなスクリプトの1つ1つに丁寧なコメントを書く必要がなくなる 2. 文脈を利用することによりデータテーブルや解析スクリプトが全文検索ソフトウェアにより検索可能となる 3. ドキュメントと実際の解析内容との乖離が起こりにくくなる 4. 作業全体が管理できるので条件を変えた作業のやり直しが容易になる 5. 多数のファイルをエディタ上で開く必要がなくなるため神経衰弱にならずにすむ

23 R graphical manuals との関係 Paul Murrell の R graphics をオンラインマニュアルと首っ引きで読んでいたときに発案された見事なグラフがたくさん描かれているのに誰もその全体を見たことがないのはもったいない R のオンラインマニュアルは一種の Executable document である -> Duckbill で簡単に処理できる

24 R graphical manuals の紹介と今後の展開

25 R に関する ( 個人的な ) 問題同じ関数ばかり使ってしまう R はすばらしい便利な関数がたくさんあるきれいな画像が出力できるなのにどうして私はいつも同じ関数ばかり使っているのか?

26 理由のひとつ新しい関数は敷居が高いマニュアルを開く努力はするもののマニュアルにサンプル画像がないどんな図がかけるのか理解しづらいいつもの関数か Excel を使ってしまう

27 結論マニュアルにサンプル画像が載っていると便利 R graphical manuals 誕生 (2006 年 6 月 ) 遺伝研小笠原さん DuckBill でサンプル画像つきマニュアルを生成情報数理研究所服部トップページサムネイル閲覧ページ等を構築

28 Web サイト構築にあたって留意したこと目的のマニュアルを探しやすくしたい全体のマニュアル数が膨大なのでトップページとマニュアル間に複数のナビゲーションを用意パッケージ名がわかっている場合おおまかな目的が決まっている場合なにがしたいか決まっていない場合

29 パッケージ名がわかっている場合 ( 例 : 使ったことがあるパッケージのオプションを確認する ) トップページパッケージ名から直接マニュアルへ

30 おおまかな目的が決まっている場合 ( 例 : 遺伝学関連の便利なツールを知りたい ) CRAN Task Views で関数を探すトップページ

31 おおまかな目的が決まっている場合 ( 例 : 遺伝学関連の便利なツールを知りたい ) もしくはキーワードで探すトップページ

32 なにがしたいか決まっていない場合 ( 例 : なにかおもしろそうな関数はないだろうか? ) サムネイル閲覧ページ ImageBrowser トップページ

33 ImageBrowser 膨大なサンプル画像 ( 現在 12,994 個 ) をひたすら表示視覚的に新しい関数を見つけようという試み

34 電子メール 3 通公開後の反響とても便利なページを作ってくれて感謝ナビゲーションもスマートである 1 ページに説明と画像があるのがよいどうして私の XXX パッケージが CRAN Task View の XXX カテゴリに載ってないのか ( フランスより ) ( スイスイタリアより各 1 通 ) パッケージ開発元も注目!

35 公開後の反響平均リクエスト数 :10,184/ 日アクセス数推移万 Sep Oct Nov Dec(7 日時点 ) 2006 年 9 月以降

36 公開後の反響ドメイン別アクセス

37 今後の展望 Web ページの基本的な機能の拡張 ( 検索機能の強化 ) R の package の全体像を与えるような統計ページの作成 Manual の Reference を解析可視化することで package の内容が一望できるのでは?

NGSデータ解析入門Webセミナー

NGSデータ解析入門Webセミナー NGS データ解析入門 Web セミナー : RNA-Seq 解析編 1 RNA-Seq データ解析の手順遺伝子発現量測定シークエンスマッピングサンプル間比較機能解析など 2 CLC Genomics Workbench 使用ツールシークエンスデータメタデータのインポート NGS data import Import Metadata クオリティチェック Create Sequencing