SoftwareDesign DRBDで始める今どきクラスタリング Profile 名前岩崎のぼる橘べるちぇ所属株式会社サードウェア Twitter 活動会社サーバ構築とか簡単なスクリプトとか会社個人書籍雑誌の執筆日経Lin

Size: px

Start display at page:

Download "SoftwareDesign DRBDで始める今どきクラスタリング Profile 名前岩崎のぼる橘べるちぇ所属株式会社サードウェア Twitter 活動会社サーバ構築とか簡単なスクリプトとか会社個人書籍雑誌の執筆日経Lin"

まいえなつ
5 years ago
Views:

1 DRBDとPacemakerによるLinux-HA環境株式会社サードウェア岩崎のぼる

com/bellche 活動会社サーバ構築とか簡単なスクリプトとか会社個人書籍雑誌の執筆日経Linux SoftwareDesign Perl中毒その他

2 SoftwareDesign DRBDで始める今どきクラスタリング Profile 名前岩崎のぼる橘べるちぇ所属株式会社サードウェア Twitter 活動会社サーバ構築とか簡単なスクリプトとか会社個人書籍雑誌の執筆日経Linux SoftwareDesign Perl中毒その他 Linux HA Japan Project 半分仕事日本Unboundユーザ会主にLinux関連の業界を右往左往その他猫好き最近Pythonを勉強中 iphone/ipadを持っててもmacが無くて寂しい Androidの開発環境があっても端末なくて寂 DRBD iscsi夢の共演前/後編

3 アウトライン DRBDの概要 Linux-HAとDRBDを組み合わせ DRBDで起こりがちなトラブル事例紹介 Pacemaker概要 HeartbeatからPacemakerへ Linux-HA Japan Project コミュニティ紹介

5 DRBDとは Duplicated Replicated Block Device Duplicated = 複製された Replicated = 重ねられた Block Device = ブロックデバイスなんて言えばいいのかｗブロックデバイスが複製されているという感じです

6 ただの複製ではありません TCP/IPネットワーク

7 いろいろ細かい説明は飛ばしますハードウェア構成とか設定方法とか初期同期とか基本的な管理コマンドとか

8 ブロックデバイスが複製できるということは通常のHDD /dev/sda1 とかはもちろん SSD デバイスが複製できる早い RAMディスクなんかも複製できる超早いブロックデバイスで認識されてば結構いろんなものがレプリケーションされますネットワークを使っているのになんとリアルタイムでレプリケーションされる

9 TCP/IPネットワークを使うということは専用のレプリケーションI/Fがいらない TCP/IPなので速度はともかくVPNで遠隔地可能夢が広がる２台分のサーバの面倒をみないといけなくなるためメンテナンスする仕事の範囲も広がる

10 重要なところ DRBDはFilesystemの下で動いている Filesystemを選ばないここに注目 ext3/ext4 XFS FAT32 NTFS まさになんでも来い

11 弱点もある単純にサーバが２台以上必要やっぱり同期するためディスクI/Oは遅くなるネットワークの遅延にモロ影響される壊れたデータもレプリケーションしてしまう NFSとかSambaのディレクトリは複製できない DRBDでミラーされた領域を共有してください

12 ここでちょっとしたテクニックをご紹介 DRBDとLVMの組み合わせ LVをミラーリング PVをミラーリング

13 LVをDRBDでミラーリングすると設定は簡単普通にLVをミラーすればいいマウントマウント Filesystem DRBD DRBD LV LV VG VG HDD PV HDD PV Primary スナップショット Secondary セカンダリ側でもスナップショットを取ればマウントできちゃう運用側に負荷をかけずに世代バックアップを取ることができるセカンダリのI/O負荷があがるなら一旦DRBD同士の接続を切っちゃえばいい多分これDRBDでしか実現できない技な気がする他知らない

14 PVをDRBDでミラーリングすると設定は少しおまじないが必要 lvm.conf FS FS FS FS LV LV LV LV LVの追加削除 LVのリサイズ VGのステータス変更 etc. VG DRBD PV DRBD PV HDD HDD Primary Secondary LVMの利便性をそのままにDRBDで全部ミラーリング可能 LV作る度にDRBDのリソース追加とかしなくていい 16TBを越えた大容量に対応できるようになる VG使用 DRBDは一応16TBまでサポート

15 PVをDRBDでミラーリングすると /etc/lvm/lvm.conf のおまじないって # By default we accept every block device: #filter = [ "a/.*/" ] # DRBD on LVM Configuration filter = [ "r /dev/sd.* " ] ①デフォルトだと/dev/drbd*デバイスをPVとして認識してくれない ②物理デバイス sda3とかsdb1とかを認識しないように指定するこれをやってからlvm2-monitorを再起動すると/dev/drbd*がPVとして認識される注) これをやらなくても pvcreate /dev/drbd0 が通りますが pvdisplayで確認すると物理デバイスをpvとして認識している状態となるので DRBDでミラーリングされません

16 LVをミラーするパターンのメリットデメリットメリットセカンダリ側でスナップショットをとってマウントできる構築が簡単デメリット LVのリサイズができなくなる LVを追加する場合 DRBDリソースも追加設定する必要がある LVMの機能は結構制限される

17 PVをミラーするパターンのメリットデメリットメリット LVのサイズ変更追加等LVMの機能全開にできる DRBDデバイス PV を増やしてVGに登録できるデメリットセカンダリ側でスナップショットがマウントできない LVMで障害が発生するとシングルポイントになる設定と運用に少し手間がかかる (vgchangeとか)

18 直前追加３ノードについて DRBDは最大４台まで同期できますスタックノードというのを使ってDRBDの上にDRBD をかぶせるイメージで理解してください３ノード目をWAN越えする要求がけっこうあります WANになると回線が遅いのがネックになります回線が遅いのをごまかすために DRBD Proxy 有料ソリューションがあります図はあとで追加してアップするかも

19 キーワード Disaster Recovery ディザスタリカバリ遠隔地にバックアップを置くことで災害時にデータセンタ事態に被害が発生してもデータを消失しないための体制やしくみを言います FTPはVPNを使って定期的なバックアップを遠隔地に保存する手法が現在一般的なのではないでしょうか DRBDを使うとリアルタイムな DR環境が実現します

20 気になるパフォーマンス

21 ベンチマークを取ってみましたシーケンシャル読み込み HP ProLiant 360 G6 1Gbps NIC DRBD over LVM 同期状態 DRBD over LVM 非同期状態 LVM over DRBD 同期状態 +SS LVM over DRBD 同期状態 Per Chr Block LVM over DRBD 非同期状態 DRBD のみ同期状態 DRBD のみ非同期状態 LV のみ ( 基準値読み込みはローカルからしか読まないので同期非同期に関わらず一定値を出す

22 ベンチマークを取ってみました HP ProLiant 360 G6 1Gbps NIC シーケンシャル書き込み DRBD over LVM 同期状態 DRBD over LVM 非同期状態 LVM over DRBD 同期状態 +SS LVM over DRBD 同期状態 Per Chr Block Rewrite LVM over DRBD 非同期状態 DRBD のみ同期状態 DRBD のみ非同期状態 LV のみ ( 基準値 ChrとRewriteはもともと遅いのであまり差は出ないがBlockでは結構差が出る

23 ベンチマークを取ってみました HP ProLiant 360 G6 1Gbps NIC すみませんこのデータは普通には出せないことになっていますｗファイルの作成や削除を繰り返すテストでは同期のオーバーヘッドが多くなりかなりの差が出る

24 結論 DRBDは向き不向きがあるのでDRBD を使用するアプリケーションの特性を考えて使いましょう当然と言えば当然なんですが

26 Pacemakerとは HAクラスタ環境を実現

27 >> キーワードこれとこれ HighAvailability ハイアベイラビリティ略して HA

28 HighAvailabilityとは High = 高い Availability = 有用性要するに結構使えるということよくわかりませんｗ

29 HighAvailabilityとは２ HighAvailability 高可用性

30 どのようにサービスの可用性使える度を高めるか予備を用意する同じサービスを提供できるサーバをもう一大用意して寝かせておきいざとなったら交換してしまえば同じサービスが提供できる Active/Standby型のフェイルオーバーHAクラスター環境という長い名前で呼んで説得力を無駄に稼いだりします

31 HA環境の基本形提供するサービスが停止したときに予備のサーバを自動で起動してサービスを継続する２台構成つまり

32 前置き終わり姉妹構成

33 姉妹だから使える可用性が高い

34 姉妹双子の姉妹

35 良い可用性が高い

36 愛着が沸く最重要事項妹姉ごめんちょっとなんか今日調子悪くて障害発生妹妹わかった今日は私ががんばるよフェイルオーバー俺しょうがないな調子が悪いところを俺が診てやるよメンテナンス妹姉調子良くなったよ心配かけてごめんねメンテナンス終了妹妹よかったでもお姉ちゃんはまだゆっくりしててっ HA環境復旧

37 設定名前高良かなＣＶ田中理恵身長165cm 体重49kg 胸はＡカップスポーティ性格明るく元気結構気が強い姉御肌髪の毛黒で若干グレーが入るくらいセミロング普段はアップにしていることが多い髪留めにペースメーカーのロゴ姉妹おそろいスポーツウーマン結構頭もいい年齢 20歳職業某工学部情報工学科の２年生周囲は男性が８割以上だけど平気そこそこもてるけどあまり恋愛に興味はないお父さんはＩＴ系の会社で仕事をしている将来は自分もＩＴ系の会社に入るんだろうなぁと考えている２年生だけどそろそろ就活も視野に入ってきているスポーツウーマン高校時代陸上部種目は走り高跳びインターハイに出たことがあるでも優勝とか言うレベルではない大学に入ってからはもっぱらバイトの日々家族構成長女高校２年生の妹がいる４人家族両親は健在お母さんは専業主婦生い立ちなどの設定江戸っ子普通のサラリーマン家庭で育つパソコンも使うけど妹ほどではないどちらかと言うと身体を動かしていた方が好き格好スーツボーイッシュなさっぱりした格好が中心色は寒色系口癖はあるちょっと姉御肌な声てやんでぃ特技運動字は汚い趣味ネットサーフィン身体を動かす妹が胸が大きいことがちょっとだけコンプレックスこれイラスト制作用のラフ画なので公式キャラクターはもうちょっと変わる予定です色も適当です

38 設定名前高良かよＣＶ丹下桜身長160cm 体重49kg 胸はＥカップ性格明るいオタク髪の毛黒で若干茶色が入るくらいロング普段はポニーテールで大きなリボンを付けている髪留めにペースメーカーのロゴ姉妹おそろい年齢 17歳職業ミッション系女子高の２年生成績は中の上オタクネットとアニメが大好きファンタジー系のラノベも好きコスプレも少しだけするけど人前でやるのはちょっと恥ずかしい家族構成次女お姉さんはかなちゃん４人家族両親は健在お母さんは専業主婦お父さんはＩＴ系の会社で仕事をしている生い立ちなどの設定江戸っ子普通のサラリーマン家庭で育つ小４からパソコンを触っているパソコンとかネットには詳しいがＩＴはそれほどでもない格好かわいい系の格好メイド服コスプレ学校の制服はセーラー服東京女学館参照口癖はある萌え舌っ足らずで少し噛む特技パソコンブラインドタッチが出来る携帯を打つ早さは誰にも負けない趣味ブログアフリエイトで小遣い稼ぎコスプレを少々身体を動かすことは苦手ピンク系の色が好き服もそんな感じが多い部屋は姉妹別となりどうしお姉ちゃんがなんでもできることがちょっとだけコンプレックスこれイラスト制作用のラフ画なので公式キャラクターはもうちょっと変わる予定です色も適当です

39 設定終了

40 Pacemakerの動きリソースはCRM クラスターリソースマネージャで管理されます CRMコマンドという管理コマンドで設定します CIB.xmlというファイルで設定値と現在の状態を一元管理しています Heartbeat V2にもCRMが実装されていますが分離してPacemakerとなりました

41 HA環境の例

42 HA環境の例

43 キーワード SHARED Nothing Cluster (シェアドナッシングクラスター)

44 DRBDを使わないクラスター環境サービスを提供するサーバは２台構成のHAクラスタを組んでおりデータは共有ストレージを使用している Webサーバ相互監視 Webサーバマウント共有ストレージ共有ストレージダウンしてしまうとサービス継続は不可能となる共有ストレージのデータが壊れてしまうとどうしようもない RAIDを組んだりして対応している

45 シェアドナッシングクラスター

46 DRBDとPacemakerを組み合わせると簡単低コストでシェアドナッシングの HAクラスター環境の構築が可能となります

47 よく遭遇する障害

48 キーワード SPLIT BRAIN スプリットブレイン頭が２つに割れてしまうという意味

49 正常な時は私に任せなさいお姉ちゃんに任せる意思の疎通ができてる Active側でサービスが起し Standby側ではサービスが上がらない状態で待機される Active Standby

50 スプリットブレイン状態だとあれ妹いないまいっかｗｗｗあお姉ちゃんいない私ががんばらなくちゃ意思の疎通ができない健気な妹たちは意思の疎通ができずお互いがActiveになろうとしてがんばってしまいます Active Active

51 スプリットブレインを起こしてしまうと IP重複が起きる可能性がある同時に２つのノードから共有ストレージをマウントしてしまいファイルシステムが壊れるその他いろいろ重大な障害へ発展する可能性高い

52 Pacemaker DRBD環境でのスプリットブレイン IP重複は起きてしまう場合があるそれぞれがストレージを持っているため同時マウントの障害は発生しないただデータの同期が停止する安全装置重大なデータ障害へ発展する可能性が比較的低い落ちれば全部重大同期されなかった差分は自動または人間の目でデータを確認しながら抽出し再度同期を開始させることで元の状態に戻るデータが破損されるリスクも共有ストレージに加えて低くなります

53 まとめ

54 DRBDはファイルシステムを問わない LVMと組み合わせて楽しくも辛くもなれるリアルタイムなディザスタリカバリ環境の実現 Pacemakerと組み合わせると世界がぐっと広がる単一障害点のHA化にもってこいシェアドナッシングクラスター環境パフォーマンス低下に注意姉妹構成で愛情溢れる保守が可能となる

55 事例紹介シチズン時計 DRBD over LVM 3ノード) 岐阜女子大学 LVM over DRBD 3ノード米国911センター業務ごと冗長化４ノード

56 コミュニティ紹介

57 Linux-HA Japan 活動内容 MLの運営技術情報の公開 OSC等のイベントに参加飲んだり食べたりつぶやいたりいろいろ作ってみたり Linux-HA Japan 検索

58 ご静聴ありがとうございました

Microsoft PowerPoint （セミナー用）DRBD紹介資料.ppt [互換モード]

Microsoft PowerPoint （セミナー用）DRBD紹介資料.ppt [互換モード] データを守るミラーリングソフトウェア DRBD の紹介株式会社サードウェア 2012 年 11 月 22 日会社紹介会社名称設立資本金事業内容特記事項株式会社サードウェア 1997 年 2 月 7 日 5,000 万円 Linux 基盤を主としたメールソリューション統合メール環境の構築独自ソリューションの開発提供 Linux-HA ソリューションメールデータベースストレージなどの可用性向上に特化さらに運用支援サポート

SoftwareDesign DRBDで始める今どきクラスタリング Profile 名前 岩崎のぼる 橘べるちぇ 所属 株式会社サードウェア Twitter 活動 会社 サーバ構築とか簡単なスクリプトとか 会社 個人 書籍 雑誌の執筆 日経Lin

SoftwareDesign DRBDで始める今どきクラスタリング Profile 名前岩崎のぼる橘べるちぇ所属株式会社サードウェア Twitter 活動会社サーバ構築とか簡単なスクリプトとか会社個人書籍雑誌の執筆日経Lin