データアーカイブ

Transcription

1 データ管理 ( アーカイブ インポート ) サーモフィッシャーサイエンティフィックライフテクノロジーズジャパンテクニカルサポート jptech@thermofisher.com 2016 年 2 月 この資料は Torrent Suite 5.0 の仕様に基づいています 1 The world leader in serving science

2 目次 データ管理の概要 データ管理概要図 用語の説明 使用頻度の高いLinuxコマンド データ管理の前準備 PuTTyを用いたTorrent Serverへの接続 ハードディスクの接続と確認 自動マウントの確認とアンマウント パーティションの確認と作成 ハードディスクのフォーマットとマウント ハードディスクのアンマウント データ管理機能の操作方法 自動データ管理機能の設定 手動データ管理機能 データのインポート機能 補足

3 3 データ管理の概要

4 データ管理概要図 Torrent Server 外付けハードディスクデバイス ( 数 TB) データのアーカイブ ( 退避 ) エクスポート ( コピー ) データのインポート ( 戻し ) ( 複数接続も可 ) LAN 経由で接続 PC トレントブラウザの Data Management 画面で操作 管理が可能 別の Torrent Server 4

5 用語の説明 トレントサーバ (Linux OS) では ディレクトリ複数のファイルを格納し ファイルを分類 整理することができる保管場所のこと マウントフォーマットされたパーティションを 特定のディレクトリに結びつけて参照や書き込みができるようにします Linux では手動での実行が必要な場合があります パーティションハードディスクの内のデータの仕切りのこと /dev/sdb1 /dev/sdb2 Windows では フォルダ マウントは基本的に自動で行われる C: ドライブ D: ドライブ 外付け HDD のパーティションが 2 つの場合 ext4 Linux 向けファイルシステムの一種 ( パーティションを フォーマット する方式 ) NTFS FAT32 5

6 使用頻度の高い Linux コマンド 一般的 cd ls vi less cat cp rm 作業ディレクトリ ( フォルダ ) の移動ファイル ディレクトリのリストを表示ファイルの編集ファイル内容の閲覧ファイルの連結サーバ内のファイル ディレクトリのコピーファイル ディレクトリの削除 主にデータ管理 df -HT ディスク ドライブ使用量の表示 mkfs パーティションのフォーマット mkdir ディレクトリの作成 mount ファイル システム ( ハードディスク ) のマウント umount ファイル システム ( ハードディスク ) のアンマウント rsync -a サーバー間のファイルのコピー du -sm ディスク使用量の表示 ( メガバイト単位 ) chmod 権限変更 ( 閲覧 上書き 削除などの許可 ) 6

7 7 データ管理のための前準備

8 データ管理のための前準備ワークフロー 目的 : ext でフォーマットされたパーティションが 1 つ のハードディスクを /dev/disk にマウントする 自分の PC から PuTTy などでトレントサーバにログイン 外付けハードディスクをトレントサーバに接続 内は Linux のコマンド操作 /dev/disk 以外のマウントポイントに自動マウントされていないか? Yes パーティションは 1 つか? Yes ext3 または ext4 でフォーマットされているか? Yes No ( されている ) No ( 無い 2 つ以上 ) No アンマウント パーティションを1つ作成 ext4でフォーマット /dev/disk にマウント 前準備完了 8 この資料は 数ギガ ~ 数テラバイトの外付けハードディスクを使用することを想定したものです

9 PuTTy を用いた Torrent Server への接続 (1) PuTTyは Windows からサーバーに接続しコマンドを実行するツールです 下記 URLからダウンロードできます このURLに接続できない場合は検索エンジンで PuTTy を検索して下さい 実行ファイル (putty.exe) をダウンロードするだけで使用できます 1 PuTTy 実行ファイルまたはショートカットをダブルクリックして起動 2 Category( カテゴリ ) の欄からSession( セッション ) を選択 3 Host Name( ホスト名 ) の欄に下図のようにTorrentServerのIPアドレスを設定し Connection type ( 接続タイプ ) からSSHを選択 4 Saved Sessions( セッション一覧 ) の欄にこの設定の名称を入力して Save( 保存 ) をクリック 名称は任意です 下の例では TorrentServer としています 5 Open( 接続 ) をクリック * 二回目以降は 3~5の代わりに Saved Sessionsの中からTorrentServerをダブルクリックします

10 PuTTy を用いた Torrent Server への接続 (2) 6 初めて接続する場合に Warning が表示されたら OK( はい ) をクリック 7 ユーザー名 :ionadmin とパスワードを入力してログインパスワードはサーバーを管理者に確認して下さい ( デフォルト設定は ionadmin ) 10

11 留意事項 操作の前に必ずお読みください ハードディスクの前準備にデータを全消去する操作が含まれます 資料中の パーティションの作成 または フォーマット を行うと ハードディスク内のデータが全て消去されます 解析サーバの内蔵ディスクや データ保存用ハードディスクに対しては行わないようにしてください PGM と Proton で解析サーバの内蔵ディスクの構成が異なります (1) PGM には 1 つ ( /dev/sda ) Proton には 2 つ ( /dev/sda と /dev/sdb ) の内蔵ディスクがあります これらの上にあるパーティション (sda1 sdb1 など ) を操作しないで下さい (2) Proton では 生データが /rawdata 解析結果が /results 以下に保存されます PGM では全てのデータが /results 以下に保存されます ( コマンドによるデータ復旧時に必要な情報となります ) 資料中のコマンドは Proton Torrent Server の例を記載しています * 以下で赤太字は実行するコマンド 黒太字はコマンドラインに表示される内容です *sudo コマンドを実行した際 パスワードの入力を求められることがあります * コマンドの中の空白を で示します * 各コマンドについて調べたい場合は man コマンドをご使用下さい man parted コマンドの書式や処理内容 オプションなどの情報が表示されます 矢印キーで上下に移動でき q キーで終了します 11

12 ハードディスクの接続と確認 (1) トレントサーバーにハードディスクを接続する前に 既存のディスクを確認 ls /dev/sd* <PGM の場合 > /dev/sda /dev/sda1 /dev/sda2 <Proton の場合 > /dev/sda /dev/sda1 /dev/sda2 /dev/sda3 /dev/sda4 /dev/sdb /dev/sdb1 /dev/sdb2 上記は USB を何も接続していないときの状態です PGM の場合は /dev/sda のみが Proton の場合は /dev/sda と /dev/sdb が内蔵ディスクです 上記のパーティション対して マウントやフォーマットなどの操作をしないで下さい (2) 外付けハードディスクをサーバの USB ポートに接続 (3) 外付けハードディスクが認識されたことを確認 ( 下記の例は Proton を想定 ) ls /dev/sd* /dev/sda /dev/sda1 /dev/sda2 /dev/sdb2 /dev/sdc /dev/sdc1 (1) と比べて 追加されている /dev/sdc が接続したディスクのデバイス名 /dev/sdc1 がディスク上のパーティション名です (PGM では /dev/sdb /dev/sdb1 が追加されます ) 複数のディスクを接続する場合は 新しく /dev/sd ( はアルファベットが順番に付けられる ) が追加されます 例えば Proton に 2 つ目のディスクを追加すると 以下のように表示されます ls /dev/sd* /dev/sda /dev/sda1 /dev/sda2 /dev/sdb2 /dev/sdc /dev/sdc1 /dev/sdd /dev/sdd1 追加された 2 つ目のディスク 12

13 自動マウントの確認とアンマウント (1) 自動マウントの確認 df -HT /media/* 出力内容の中に 下記のように接続したディスク上のパーティション名が表示されてなければ 次ページの操作に進んで下さい ( /dev/sdc1 が /media/hd-lbu2 に自動マウントされている場合 ) /dev/sdc1 vfat 2.0T 20.0M 1.9T 0% /media/hd-lbu2 マウントポイント自動マウントされた場合などは 上記のようにマウントポイントが /media/diskではないことがあります もし このような表示がある場合は アンマウントの操作に進んで下さい (2) アンマウントマウントポイントが /media/hd-lbu2 の場合のコマンドは下記となります sudo umount /media/hd-lbu2 パスワードを聞かれたら ログイン時のパスワードを入力して下さい ( デフォルトは ionadmin) アンマウントには数分かかることもあります コマンドプロンプト ( ionadmin@xxxxxxx:/media$ ) が戻ったら アンマウントは完了しています (3) アンマウントの確認 df -HT /media/* 出力結果に (1) で表示されていた /dev/sdc1~ の記述がなければ アンマウントが正常に完了しています 次ページの操作に進んで下さい 13

14 パーティションの確認と作成 (1) パーティション とは ハードディスクの内のデータの仕切りのことです 2TB を超えるディスクなどは パーティションが 2 つ以上になっていることがあり これを 1 つにするための作業を行います ( 始めから 1 つの場合は 操作不要 ) この操作を行うと 外付ディスクのデータが全て消去されます (1) 外付ハードディスクのパーティションの状態を確認 ls /dev/sd* 接続したハードディスク /dev/sdc が以下のように表示される場合に パーティションの作成を行います パーティション無し : /dev/sda /dev/sda1 /dev/sda2 /dev/sdb2 /dev/sdc パーティション2つ : /dev/sda /dev/sda1 /dev/sda2 /dev/sdb2 /dev/sdc /dev/sdc1 /dev/sdc2 /dev/sdc /dev/sdc1 ( パーティション 1 つ ) となっていた場合は フォーマット作業へ進んで下さい (2) 外付ハードディスク sdc 上のパーティションを操作するプログラムを開始 sudo parted /dev/sdc GNU Parted 2.2 Using /dev/sdc Welcome to GNU Parted! Type 'help' to view a list of commands. パスワードを聞かれたら ログイン時のパスワードを入力して下さい ( デフォルトは ionadmin) (3) sdc 上に既に有るパーティションを確認 (parted) print sdc 上にパーティションが無い場合は 下記のようなメッセージが表示されます Error: /dev/sdc: unrecognised disk label この場合は 次ページの (4) に進んで下さい 14

15 パーティションの確認と作成 (2) 15 (3) つづき sdc 上に複数 ( 例では 2 つ ) パーティションが有る場合は 下記のように表示されます Model: HitachiG ST (scsi) Disk /dev/sdc: 4001GB Sector size (logical/physical): 512B/4096B Partition Table: gpt Number Start End Size File system Name Flags kB 134MB 134MB Microsoft reserved partition msftres 2 135MB 4001GB 4001GB ntfs Basic data partition この場合は 下記のコマンドで既存のパーティションを削除します (parted) rm 1 (parted) rm 2 パーティションが 3 つ以上の場合も 上の例のように全てのパーティションを削除して下さい (4) 外付ハードディスクsdc 上にパーティションを作成 ( ディスク内のデータは全て消去されます ) (parted) mktable gpt Warning: The existing disk label on /dev/sdc will be destroyed and all data on this disk will be lost. Do you want to continue? Yes/No? Y (parted) mkpart primary 2048s -1 Warning: You requested a partition from 2048s to s. The closest location we can manage is 2048s to s. Is this still acceptable to you? Yes/No? Y (parted) quit Information: You may need to update /etc/fstab. 完了したら 再度前ページの (1) の操作でパーティションの状態を確認して下さい

16 ハードディスクのフォーマットとマウント (1) パーティションのフォーマット /dev/sdc1 というパーティションを ext3 又は ext4 ファイルシステムでフォーマットします このパーティションに含 まれるデータは全て失われます sudo mkfs -t ext4 /dev/sdc1 パスワードを聞かれたら ログイン時のパスワードを入力して下さい ( デフォルトは ionadmin) 完了するとプロンプト (ionadmin@xxxxxxx:~$) に戻ります 1 時間以上かかることがあります (2) マウント用のディレクトリ ( マウントポイント ) を作製マウントポイント /media/disk を作成します 既に存在する場合は (3) に進みます ただし 複数のハードディスクを同時に使用する場合は 別の名前の複数のマウントポイントが必要です (disk2 disk3など ) sudo mkdir /media/disk /media/diskに初めてマウントする時のみ実施 (3) ハードディスクをマウント sudo mount /dev/sdc1 /media/disk (4) マウントの確認 df -HT /media/* Filesystem Type Size Used Avail Use% Mounted on /dev/mapper/ion--torrent--server-root ext3 8.1G 4.1G 3.7G 53% / 出力内容の中に /dev/sdc1 ext G 0.0G 500.0G 0% /media/disk のような行が含まれていれば ディスクはマウントされています (5) 読み書き権限の変更 sudo chmod 777 /media/disk ( このコマンドは実行後何も表示されません ) 新しいハードディスクを初めて使う時に実施 (1) の操作は 特に注意して下さい 16

17 ハードディスクのアンマウント ハードディスクを取り外す際や フォーマット パーティションの作成時にアンマウントを行います (1) ディレクトリの移動 cd /media (2) アンマウント /media/disk にマウントされている場合は 下記のコマンドを実行します パスワードを聞かれたら ログイン時のパスワードを入力して下さい ( デフォルトは ionadmin) sudo umount disk アンマウントには数分かかることもあります コマンドプロンプト ( ionadmin@xxxxxxx:/media$ ) が戻ったら アンマウントは完了しています (3) アンマウントの確認 df -HT /media/* 出力結果に下記のような記述がなければ アンマウントが正常に完了しています /dev/sdc1 ext G 0.0G 500.0G 0% /media/disk この状態になれば USB ディスクを取り外すことができます 17

18 18 データ管理機能の操作方法

19 Data Management 画面 : データ管理 処理の実行状況 ( 自動 手動 ) 自動アーカイブ機能の設定 各種ファイルの管理統計情報 ディスク使用容量を表示 手動アーカイブの実施 19

20 自動データ管理機能 ( アーカイブ 削除 ) の設定 (1) Configure をクリック 自動実行する場合 [ ] (2) Data Management Configuration の欄で ファイルの種類毎にアーカイブ 削除などの設定 /media/disk データのカテゴリー毎に設定 Archive/Delete /Disable 自動実行までの日数 ディスク使用量がこの値を越えるまで削除しない アーカイブ先 カテゴリー PGM で再解析に必要 Proton で再解析に必要解析結果参照 Signal Processing Input 〇 〇 ( サムネイル解析 ) Basecalling Input 〇 ( フル解析 /3.6.2 以降 ) Output Files Intermediate Files *( フル解析 /3.6) 〇 20 *Torrent Suite 3.6 では Proton で再解析を実施するのに必要な 1.wells ファイルが Intermediate Files に含まれます 3.6 と 以降で動作が異なりますのでご注意ください

21 手動データ管理機能 Data Management 画面下部で ラン 解析ごとのアーカイブ状況の確認と操作が可能 Delete または Archive をしたい場合は チェックを外す 操作したいファイルの種類のチェックボックスをオンにして 下のいずれかの操作のボタンをクリック 例 ) Signal Processing Input のチェックボックスだけをオンにして Archive Selected のボタンをクリックすると 生データだけが外付けディスクに移動します Archive Selected: 外付けディスクにデータが移され サーバー上のファイルは削除 Export Selected : 外付けディスクにデータがコピーされ サーバー上にもファイルが残るボタンをクリック後 Comment 欄に必ず何か入力して Confirm をクリックします 21

22 データのインポート機能 (1) (1) Data Import の欄の Import ボタンをクリックし ポップアップ画面の下向き矢印をクリック 目的のデータをアーカイブしたハードディスクのマウント用ディレクトリ名をクリック アーカイブまたはエクスポートした解析名が表示される 解析名やデータの種類で絞り込みが可能 22 インポートできるデータの種類と格納場所 カテゴリーハードディスク内のパス Signal Processing Input /media/ ( マウント用のディレクトリ ) / ( ラン名のディレクトリ ) / Basecalling Input & Report /media/ ( マウント用のディレクトリ ) / archivedreports / ( 解析名のディレクトリ ) /

23 データのインポート機能 (2) (2) インポート ( およびサーバへのコピー ) をしたいデータにチェックを入れる下記は Report(BAM ファイル プラグイン結果など ) と BaseCallingInput( 再解析用データ ) を選択した例 チェックを入れた場合は データをトレントサーバへコピー チェックを入れない場合は アーカイブ済みデータを外部 HDD に保存したまま再解析やプラグインの実行が可能になる (3) 目的のデータにチェックが入っていることを確認し Import をクリック (4) Data タブからインポートされたデータを確認 23

24 インポートデータでのプラグイン実行エラー Report (BAM ファイル プラグイン結果など ) をインポートしてプラグインを実行すると 以下のようなエラーが表示され プラグインが実行できない場合があります ( 生データを再解析した場合には表示されません ) このような場合には 以下のコマンド操作によりプラグインの実行が可能になります (1) Putty などでトレントサーバへログインし インポートしたデータのディレクトリ ( 解析名 ) があることを確認 cd /results/analysis/output/home ls 表示された解析名の一覧にインポートしたデータの名前があることを確認してください (2) プラグイン出力ディレクトリの権限変更 chmod 777 / 解析名 /plugin_out (3) トレントブラウザから再度プラグインを実行し ステータスが Started になっていればプラグインが正常に実行されています 24

25 25 補足

26 コマンドによるデータの復元 (1) PGM をご使用で 保存先ディスクが /media/disk にマウントされているものとします は半角スペースの意味 Proton の場合は 弊社テクニカルサポートまでお問い合わせ下さい (1) サーバー上のディレクトリの確認サーバーの /results というディレクトリの中に PGM 本体から転送された生データを格納するディレクトリがあります 下記のコマンドでその名前を確認します ls /results analysis pgm PGM_test plugins referencelibrary uploads lost+found PGM_config pluginmedia publishers sn11c 上記の例では sn11c がデータディレクトリです これは PGM 本体に付けられた名前で 施設毎に異なります (2) ディスク空き容量の確認 df H /results サーバー上のハードディスクの総容量 使用容量 残容量が表示されます (3) データの確認 /media/disk 以下にどのようなディレクトリ ( ランデータ ) があるかは 下記のコマンドで確認できます cd /media/disk ls R_2011_04_28_06_57_36_user_JP2-45 表示された一覧に 復元したいラン名 R_~ があるかを確認します (4) データ容量の確認 du sm /media/disk/r_2011_04_28_06_57_36_user_jp /media/disk/r_2011_04_28_06_57_36_user_jp2-45 左の数字が M バイト単位でのデータ容量です 後ほど コピー後のデータ量と比較します 26

27 コマンドによるデータの復元 (2) (5) 生データのコピー / の有無は重要です 省略せずに入力してください 下記の sn11c は (1) で確認した PGM 本体の名前です mkdir /results/sn11c071419/temp chmod 777 /results/sn11c071419/temp rsync -a R_2011_04_28_06_57_36_user_JP2-45 /results/sn11c071419/temp/ これらの操作の中で Permission denied~ などの警告が出ましたら コマンドの先頭に sudo を付加してください パスワードを入力する際は ionadmin となります (6) コピー後データの確認 cd /results/sn11c071419/temp ls R_2011_04_28_06_57_36_user_JP2-45 (5) でコピーしたラン名があるかを確認します (7) データ容量の確認 du sm R_2011_04_28_06_57_36_user_JP /media/disk/r_2011_04_28_06_57_36_user_jp2-45 (4) で確認したデータ容量とほぼ同じであることを確認します 若干異なる場合もあります (8) 再解析の開始下記のコマンドを実行すると 再解析が始ります mv R_2011_04_28_06_57_36_user_JP2-45../ 27

28 ご不明な点がございましたら弊社テクニカルサポートまでお問い合わせください Technical Support Call 営業時間 : 午前 9 時から午後 6 時まで The Chip is the Machine 28

29 For Research Use Only. Not intended for any animal or human therapeutic or diagnostic use Life Technologies Corporation. All rights reserved. The trademarks mentioned herein are the property of Life Technologies Corporation or their respective owners. MS 3 digital is a registered trademark of IKA Werke GMBH & Co. TaqMan is a registered trademark of Roche Molecular Systems, Inc. 29