WalB を動かしてみる

Size: px

Start display at page:

Download "WalB を動かしてみる"

あきひさもてぎ
4 years ago
Views:

1 WalB を動かしてみるサイボウズ株式会社原一貴

2 自己紹介原一貴サービス運用部 SRE (Site Reliability Engineer) 滋賀京都奈良東京 (Now) 趣味麺類 : 京都のラーメンは最高京都リサーチパークの会社でバイト

3 アウトライン 1. サイボウズについて 2. 差分バックアップについて 1. dm-snap 2. WalB 3. WalB とは 4. WalB のバックアップデモ

4 サイボウズについてクラウドサービスインフラを自社で開発運用 cybozu.com kintone(low-code business app platform) Garoon( グループウェア ) Cybozu Office( グループウェア ) Mailwise( メール共有システム ) 大規模なクラウドサービス事業者

5 インフラの規模感契約社数 : 25,000+ アクセス数 / 日 : 2.4 億 + 書き込み IO / 日 :24.5 TiB+ 毎日バックアップ

6 毎日フルイメージなバックアップは無理なので差分バックアップ

7 差分バックアップとはバックアップ済みのブロックと現在のブロックを比較して差分を保存するバックアップ初回はフルイメージのバックアップが必要リストア ( 復元 ) は初回に差分を順に適用するバックアップ済みのブロック A B C D 現在のブロック A E C F 差分 2:E 4:F

8 どうやって実現するの? 1. dm-snap 2. WalB

9 dm-snap LVM snapshot 機能を使う Volume 常に変更されるスナップショットを作成 Snapshot Snapshot 前回とスナップショットの差分を取得差分を作成 Backup 差分としてバックアップの世代を管理 Base Backup Diff Diff 古い世代の差分は Base Backup に適用

10 dm-snap の Pros/Cons Pros 実装が簡単 Cons LVM snapshot の実装に依存差分検出時に Snapshot でフルスキャンが必要 Backup 側はバックアップ済みのイメージのハッシュ値を使用

11 フルスキャンの発生バックアップ済みのブロック A B C D ハッシュ値で比較現在のブロック (snap shot) A E C F フルスキャン差分 2:E 4:F

12 フルスキャンの影響フルスキャンによるディスク IO お客様アクセス数 o clock [ 出典 ]

13 フルスキャンのお客様アクセスへの影響レスポンスタイムが増えるフルスキャン中 [ 出典 ]

14 フルスキャンがアクセスが多い時間と重なると性能劣化が発生するだからお客様がアクセスし始める前にフルスキャンを終わらせたい

15 世界展開 = 常時多アクセス ( マルチタイムゾーン )

16 今まで ( ^ω^) お客様のアクセスが少ない夜にバックアップをすればいいやこれから /(^o^)\ 常にお客様のアクセスがあるよ! ナンテコッタ!

17 IO スパイクが無くて短い時間でバックアップ可能でお客様のアクセスに影響が少なく安くバックアップシステムが欲しくなる! ( 夢のような話?)

18 夢じゃありません! 作りました!

19 WalB とはブロックデバイスレベルのリアルタイムな差分バックアップと非同期なバックアップレプリケーションシステム

20 WalB ブロックデバイスレベルのリアルタイムな差分バックアップシステム dm-snap のような IO のスパイク無しにブロックデバイスレベルでバックアップ可能

21 WalB のブロックデバイスの仕組み (Kernel) ファイルシステムなど walb-driver kernel module 読み込み WalB デバイス書き込み書き込み ACK データデバイスログデバイス Pros: ログデバイスへ書き込み済みバックアップ済み Cons: 書き込み IO が二倍になる

22 WalB のバックアップの仕組み (User land) walbc WalB の仕組みをコントロールするインタフェース (CLI/Python Interface) walb-storage ログデバイス書き込み IO ログ walb-storage walbc ログの抽出と転送明示的スナップショット ( バックアップ ) の作成差分ファイル walb-proxy walb-archive Base Backup Diff 差分を定期的にマージ walb-worker

23 WalB のバックアップの仕組み (User land) walb-proxy ログを差分ファイルに変換 walb-archive: ベースバックアップと差分ファイルの管理リストア ( 復元 ) walb-worker: 差分ファイルのマージ & 転送ログデバイス書き込み IO ログ walb-storage walbc walb-proxy 差分ファイル walb-archive Base Backup Diff 差分を定期的にマージ walb-worker

24 ローカル遠隔レプリケーション walb-archive バックアップのレプリケーション ( 例 : 遠隔地に転送 ) 書き込み IO ログログデバイス walb-storage walbc walb-proxy walb-archive 非同期に転送 walb-worker 差分ファイル walb-archive Base Backup Diff Base Backup Diff walb-worker

25 WalB のバックアップデモ 20GB のブロックストレージの差分バックアップ

26 デモ環境凡例 Deamon Command / Storage Server Backup Server /sda: rootfs /sdc: walb 20GB /sda: rootfs /sdc: walb 60GB walbc walb-proxy walb-storage walb-archive

27 初期設定 1. WalB デバイスの作成 wdev.format_ldev() wdev.create() 2. walbc の設定 3. バックアップの設定 walbc.init_storage(s0, VOL, wdev.path) 4. ファイルシステムの設定 5. 初回のフルイメージバックアップ walbc.full_backup(s0, VOL)

28 スナップショットの walb-archive へ伝播を確認 Storage Server 1. ファイルを作成 2. スナップショットを作成 walb-storage 20G Volume walbc walb-proxy 3. スナップショットの伝播を確認 Backup Server walb-archive

29 ファイルを更新して walb-archive への伝播を確認 Storage Server 4. ファイルを更新 walb-storage 20G Volume walbc walb-proxy 5. 変更の伝播を確認 Backup Server walb-archive

30 レストアしてファイルの内容を確認 Storage Server walb-storage 20G Volume walbc walb-proxy 7. 変更前の内容であることを確認 6. レストア Backup Server walb-archive Restore

31 最後に WalB デモの設定ファイルなど