LinuxServerMori.pdf

Size: px

Start display at page:

Download "LinuxServerMori.pdf"

よいかずすすむ
5 years ago
Views:

1 2013 年 11 月日遺伝研新学術ゲノム支援平成 25 年度情報解析講習会 Linux サーバの構築東京工業大学大学院生命理工学研究科森宙史 Hiroshi Mori 1

2 なぜ自分でサーバを構築する必要があるのか? Q. サーバとパソコンは何が違うのか? A. 通常サーバは複数のコンピュータからネットワーク経由でアクセスされ何らかのサービスを提供するコンピュータのことを言う 24 時間 365 日稼働を前提として信頼性の高い部品が使われていたりする Q. 自分で構築しなくても DDBJ スーパーコンピュータ使えば良いのでは? A. はい待ち時間が気にならないのであれば Q. 色々な企業のクラウドサービスを使えば良いのでは? A. ゲノム研究の情報解析で行う特殊な計算に対応できるサービスがあるのなら 2

3 この 1 時間で扱う内容ゲノム研究における情報解析を行えるサーバを構築するために [1] 目的に応じたハードウェアのスペックの目安 [2] OSの選択 [3] Linuxディストリビューションの選択 [4] 実際の Linux OS のインストール & 初期設定手順について解説するこの1 時間は手持ちのPCを用いた実習はほとんど行いません 3

4 [1] 目的に応じたハードウェアのスペックの目安 (1) サーバの物理的なタイプタワー型通常のデスクトップ型 PC の大きいもの拡張性が高いラック型ラック内に縦にサーバを積み上げるある程度の数のサーバがあればタワー型より省スペース縦に巨大 ( フルラックなら約 2m) ブレード型電源やファンをサーバと分離して高密度にサーバを搭載可能その他 4

5 [1] 目的に応じたハードウェアのスペックの目安 (2) サーバの機種の違いサーバを選ぶ際にはディスクの種類と最大搭載数メモリの種類と最大搭載数 CPUの種類と最大搭載数電源の容量などに特に注意すべきしかしお金は無限にある訳ではない 5

6 [1] 目的に応じたハードウェアのスペックの目安 1. Web サーバ研究プロジェクトのWebページを公開論文のSupplementsを公開メモリ数 GB 1CPU 数コアディスク数百 GBで十分 ( な場合が多い ) 2. DB サーバ研究で得られたデータを何らかの DB 管理システムに格納して Web で公開検索可能にするメモリ数十 GB(32GB くらいまで ) 1CPU 数コアディスク数 TB あれば大丈夫 6

7 [1] 目的に応じたハードウェアのスペックの目安 3. 原核真核メタゲノム Transcriptome アセンブル特に重要なハードウェア : メモリ CPU 原核生物のゲノムアセンブル数十 GB メモリ (50GB あれば十分 ) 1CPU 数コア Transcriptome アセンブル今の HiSeq のリード 1 億 pairs なら 120GB あれば十分 ( 例えば Trinity なら 100 万 pairs につき 1GB メモリが目安 ) (htp://trinityrnaseq.sourceforge.net/) メタゲノムのアセンブル組成が単純な群集なら原核生物のアセンブルと同様群集が多様な場合大量のリードが必要であり数百 GB- 数 TB メモリが必要な場合もある十数コア以上真核生物のゲノムアセンブルゲノムサイズどれくらい hetero か等に依存する数十 GB- 数 TB メモリ十数コア以上少なくとも 100GB 以上のメモリをのせないとアセンブルは辛い 7

8 [1] 目的に応じたハードウェアのスペックの目安 4. 数千本以上の配列相同性検索特に重要なハードウェア : CPU ゲノムやメタゲノムの遺伝子アノテーション複数ゲノムの比較解析入力配列が数千本以上になることが多く計算を並列化して高速化する必要がある現在の nr 相手の BLASTX や BLASTP は並列化しても各プロセスで 5GB ほどメモリを使用するのでメモリもそれなりに必要 CPU 数コア数が非常に重要メモリもある程度必要 8

9 [1] 目的に応じたハードウェアのスペックの目安 5. マッピングツールでの Reference ゲノムへのマッピング特に重要なハードウェア : ディスク Resequencing, RNA- Seq, ChIP- Seq 解析におけるマッピングリードのゲノムへのマッピングは高速でメモリ使用量も少ない結果の SAM ファイルや BAM ファイルが数十から数百 GB になったりする samtools 等で sort したりするとその規模のファイルが何個もできるマッピングを頻繁にするのならディスクは少なくとも十数 TB は必要 9

10 [1] 目的に応じたハードウェアのスペックの目安 3. 原核真核メタゲノム Transcriptome アセンブル特に重要なハードウェア : メモリ CPU 4. 数千本以上の配列相同性検索特に重要なハードウェア : CPU 5. マッピングツールでの Reference ゲノムへのマッピング特に重要なハードウェア : ディスク 10

11 [2] サーバの OS の選択 Windows Server マイナスポイント Mac OSX Server Linux 様々なバイオインフォマティクスのソフトウェアが動かない Virtual OS を使う手もあるが GUI でサーバの設定が可能バイオインフォマティクスのソフトウェアが結構対応している Linux コマンドが標準で使える GUI でサーバの設定が可能ユーザコミュニティが小さい Linux 専用のバイオインフォマティクスのソフトウェアも多数存在 GUI である程度サーバの設定が可能だがスーパーコンピュータのほとんどの OS も Linux 11

12 [3] Linux ディストリビューションの選択 Linux ディストリビューション Linux の本体であるカーネルと独自の GUI や様々なアプリケーションをまとめて一つの塊 ( パッケージ ) にし容易に再配布出来るようにしたもの Debian 系 Debian, Ubuntu, etc. Red Hat 系 Red Hat Enterprise Linux, Fedora, CentOS, etc. Slackware 系 opensuse, etc. その他 Gentoo Linux, etc. 12

13 [4] CentOS のインストール & 初期設定 CentOS 6.4 をマシンにインストールする際の手順物理的に必要なもの CentOS をインストールする対象の DVD- R を読み込めるマシン DVD- R 1 枚 DVD- R を書き込める PC 13

14 1. CentOS をダウンロード作業 : Web ブラウザで h9ps:// にアクセス 14

15 1. CentOS をダウンロード作業 : ダウンロード元として距離的に近いミラーサーバを選ぶ 15

16 1. CentOS をダウンロードここから先は紙芝居 : *x86_64- bin- DVD1.iso をダウンロードする 16

17 2. CentOS DVD を作成する *x86_64- bin- DVD1.iso のダウンロードが終わったら iso ファイルと空の DVD- R を基に CentOS のインストール用 DVD を作成する通常の DVD 作成ソフトウェアを用いて作成でき例えば Mac ならディスクユーティリティ等のソフトウェアで作成可能 17

18 3. ネットワークの設計どのようなネットワークにサーバを接続するかによって事務手続きに時間がかかる場合もありセキュリティ設定も変わるサーバに CentOS をインストールする前にサーバをどのようなネットワークに接続するか考えておく具体的には IP アドレスホスト名どのようなプロトコルを使うのかなど外のネットワーク x.x.x.x ルータグローバル IP アドレス IP アドレスの例 : x.x プライベート IP アドレス 18

19 4. BIOS 設定で DVD から OS を起動するように設定この設定方法はサーバのメーカー機種によってバラバラ 19

20 5. Welcome to CentOS画面インストールDVDの作成に失敗しているとそもそもこの画面が出ない 20

21 6. インストール DVD のチェックインストール DVD が問題無いかチェックできるが時間かかるので skip 21

22 7. CentOS インストールの開始 Next を押す 22

23 8. インストールに使用する言語を選択インストール作業で使用する言語として日本語を選択 23

24 9. キーボードの言語を選択日本語キーボードを使用しているなら日本語を選択 24

25 10. CentOS をインストールするストレージを選択外付けのディスク等に CentOS をインストールする場合以外は基本ストレージデバイスを選択 25

26 11. サーバのホスト名を設定例 : hoge.ac.jp genome1 などグローバル IP アドレスを取得した場合はそのホスト名は世界中でユニークである必要がある 26

27 12. タイムゾーンの設定アジア / 東京を選択左下のシステムクロックで UTC を使用するのチェックを外す 27

28 13. サーバの管理者 (root) のパスワードを設定特にグローバル IP アドレスを取得してサーバを運用する場合は root パスワードは辞書に載っている単語等にはしてはいけない 28

29 14. インストールタイプの設定ディスクのパーティション設定を変えたりソフトウェア RAID を構築する必要が無い場合はすべての領域を使用するを選択する 29

30 14. インストールタイプの設定すべての領域を使用するを選択したらディスクの初期化が始まる 30

31 15. OS のインストール時に同時に入れるソフトウェアを選択 Basic Server 左下の今すぐカスタマイズを選択 31

32 16. インストールするソフトウェアを追加で選択情報解析を行うサーバとして必要なソフトウェアを追加で選択 32

33 16. インストールするソフトウェアを追加で選択以下は追加選択の例あくまで私の個人的な好みです Web サービス - - > Web サーバーアプリケーション - - > Emacs アプリケーション - - > インターネットブラウザサーバー - - > システム管理ツール + ( 追加パッケージ ) screen デスクトップ - - > X Window System デスクトップ - - > グラフィカル管理ツールデスクトップ - - > デスクトップデスクトップ - - > フォントデスクトップ - - > 汎用デスクトップベースシステム - - > Ruby サポートベースシステム - - > ベース + zsh ベースシステム - - > 数学 / 科学系および並列計算 + scipy, numpy 開発 - - > 開発ツール開発 - - > その他の開発 33

34 17. インストールの開始 10 分以上かかることが多い 34

35 18. サーバの再起動一度電源が切れた後に DVD を取り出す再起動中に BIOS 設定を行いサーバのハードディスクから OS を起動するように設定する必要がある 35

36 19. ようこそ画面 36

37 20. CentOS のライセンスに同意するか否かライセンス情報を読み同意可能なら同意しますを選択 37

38 21. ユーザーの作成 root 以外に少なくとも 1 人分ユーザーアカウントを作成する必要がある 38

39 22. 日付と時刻を設定ネットワーク上で日付と時刻を同期化しますというチェックボックスはこの段階では特に選択する必要は無い 39

40 23. Kdump の設定 OS がクラッシュした場合に様々な情報を保存する Kdump を有効にするか否かの設定通常は無効で問題無い 40

41 24. root でログインインストールプロセスに問題が無ければログイン画面が出るので root で先ほど設定したパスワードでログインする 41

42 24. root でログイン Root ログインはやめた方が良い旨の警告メッセージが出るが無視 42

43 25. ログイン後端末を立ち上げるログインできたらマウスを右クリックし端末の中に開くを選択 43

44 25. ログイン後端末を立ち上げるコマンドライン入力が可能な端末が立ち上がる 44

LinuxServer131127

LinuxServer131127 2013 年 11 月 26-27 日遺伝研新学術ゲノム支援平成 25 年度情報解析講習会 Linux サーバの構築東京工業大学大学院生命理工学研究科森宙史 Hiroshi Mori ゲノム研究の情報解析で行う計算はメモリを大量に使用したりデータサイズが大きかったりなど一般的な Web サーバで行う計算とは異なった特徴を持っているそれらの計算をクラウド上で行う試みや研究インフラとしてのスーパーコンピュータの整備が進行中であるが