「実践」OpenStack IRONIC

Size: px

Start display at page:

Download "「実践」OpenStack IRONIC"

えのしろみず
5 years ago
Views:

1 OpenStack Ironicによるベアメタルプロビジョニング OCPJ Engineering Workshop Creationline Inc. / OCDET 森優輝

2 自己紹介森優輝クリエーションライン株式会社オープンクラウド実証実験タスクフォース (OCDET) 電気通信大学学部 2 年最近の出来事 Kindleで漫画を読むようになった 1-Click 恐怖症

3 ベアメタルプロビジョニングベアメタル : 空の物理マシンインスタンスを物理マシンに直接展開 OpenStack OpenStack 仮想マシン物理マシン

4 OpenStack Ironic ベアメタルプロビジョニング Nova BareMetal より派生 OpenStack Kiloで正式採用予定マスコットキャラクターも存在する OpenStack の中では初?

5 キーとなる技術 IPMI ノードの電源管理 (On/Off/Reset) PXE プロビジョニングノード起動 IPMI Power On / Off / Reset PXE Disk Image / Kernel / Ramdisk Baremetal

6 Ironic のドライバ pxe_ipmitool 標準で使用されている PXE + iscsi + dd agent_ipmitool Ironic Python Agent( 後述 ) iscsi_ilo HP ilo の仮想メディア機能などを利用してプロビジョニングその他今回はこれを使用して検証しました

7 Ironic Python Agent デプロイ用 Ramdisk に組み込まれ以下の操作が出来るような REST API を提供する Erase disks Partition disks Install bootloaders Install an OS image Update firmware Configure RAID And more... 今後標準で使われるようになる予定より

8 プロビジョニングの基本的な流れ Ironic 用 Compute Driver Nova フレーバーに合う物理ノードを選択 IPMI で物理ノードの電源 ON Ironic コールバック待機 Deploy 用イメージで起動 PXE iscsi dd で HDD にイメージを書き込み

9 プロビジョニングの基本的な流れ Nova Compute Driver は Ironic 用のものに変更インスタンス作成スケジューリング Neutron フラットネットワークを構築しておく DHCP 情報の更新管理ホスト DHCP Agent Flat Network ベアメタルノード

10 Glance プロビジョニングの基本的な流れ Ironic Conductor デプロイ用 Kernel / Ramdisk テナント用 Kernel / Ramdisk / OS ディスクイメージ iscsi Initiator イメージの取得 DHCP TFTP IPMI で電源 ON DHCP デプロイ用 Kernel / Ramdisk API に通知ディスクイメージの書き込みリブート DHCP Baremetal PXE Boot iscsi Target テナント用 Kernel / Ramdisk PXE Boot

11 プロビジョニングの基本的な流れ Ironic DHCP TFTP Baremetal DHCP テナント用 Kernel / Ramdisk PXE Boot HDD 読み込み Cloud-init 実際にユーザーが使用する OS の Kernel と Ramdisk は毎回 PXE で配布されるブート後の読み込みは HDD から行われる

12 イメージの取得インスタンス作成時指定されたイメージが TFTP のルートディレクトリにコピーされるデプロイ用 Kernel & Ramdisk テナント用 Kernel & Ramdisk & OS ディスクイメージ

13 ディスクイメージデプロイ用 Kernel & Ramdisk ディスクイメージを書き込むためのミニ OS インスタンス作成時のみ使用されるテナント用 Kernel & Ramdisk & OS ディスクイメージ実際にユーザが使用するもの

14 ディスクイメージの書き込み 1. ベアメタルノードから Ironic API にミニ OS が起動したことを通知 2. iscsi 経由で接続 3. HDD の先頭と末尾 18KB をゼロ埋め 4. パーティション作成 5. OS ディスクイメージの書き込み 6. ベアメタルノードから Ironic API にデプロイが完了したことを通知

15 ディスクイメージの作成 Diskimage-builder を使用 disk-image-create コマンド Kernel(aki) & Ramdisk(ari) & OS ディスクイメージ (qcow2) Elements はリポジトリ内の elements ディレクトリ参照例 :Ubuntu イメージの作成 disk-image-create -o my-image ubuntu baremetal Ubuntu の他に Fedora CentOS 7 Debian などが指定できる baremetal - Kernel と Ramdisk を抽出する

16 ディスクイメージの作成 Elements

17 デプロイイメージの作成 Diskimage-builder を使用 ramdisk-image-create コマンド Kernel(aki) & Ramdisk(ari) を作成 ramdisk-image-create -o my-deploy-ramdisk ubuntu deploy-ironic Ubuntu の他に Fedora CentOS 7 Debian などが指定できる

18 イメージの登録 Glance に登録 Disk-format Kernel : aki, Ramdisk : ari OS ディスクイメージ : qcow2 OS ディスクイメージのみ Kernel と Ramdisk を結び付けて登録する

19 プロビジョニングの問題疑問ノード起動時に毎回 PXE で Kernel と Ramdisk をロード Linux はいいが Windows はどうするの? HDD の先頭と末尾 18KB をゼロ埋め全体を消去しないと不安

20 電源管理 Ironic Conductor が操作監視 IPMITool を用いる 1 分毎に状態確認 power status OpenStack 側とベアメタルノード側で電源の状態が異なる場合 OpenStack 側の状態に合わせるベアメタル側でシャットダウンした場合 Ironic Conductor がそれを検知し自動的に電源を ON にする

21 電源管理問題点インスタンスをシャットダウン強制的に電源 OFF Ipmitool ~~ power off インスタンスを再起動 Ipmitool ~~ power off Ipmitool ~~ power on メンテナンスモードにして監視を抜けるしかない?

22 ベアメタルノードの登録用意するもの IPMIのIPアドレス, User, Password 電源管理で使用通信用 NIC の MAC アドレス DHCP で使用 IPMI 用 NIC のものではない

23 ベアメタルノードの登録 Python 製の Ironic クライアントを使用ノード登録 ironic node-create ノードリスト ironic node-list ノード設定の変更 ironic node-update ドライバリスト ironic driver-list

24 ベアメタルノードの登録ノードの作成 ironic node-create -d pxe_ipmitool IPMI 情報の登録 ironic node-update $NODE_UUID add driver_info/ipmi_username=$user driver_info/ipmi_password=$pass driver_info/ipmi_address=$address ノードスペックの登録 ironic node-update $NODE_UUID add properties/cpus=$cpu properties/memory_mb=$ram_mb properties/local_gb=$disk_gb properties/cpu_arch=$arch CPU の論理コア数 I386 / x86_64

25 ベアメタルノードの登録デプロイ用イメージの紐づけ ironic node-update $NODE_UUID add driver_info/pxe_deploy_kernel=$deploy_vmlinuz_uuid driver_info/pxe_deploy_ramdisk=$deploy_initrd_uuid MAC アドレスの登録 ironic port-create -n $NODE_UUID -a $MAC_ADDRESS 電源状態が反映されている

26 Ironic インストール基本的にインストールガイドを元に進める /deploy/install-guide.html 日々更新されています

Ironic インストール時の苦労話検証環境 OpenStack Juno (2014.2) OS: Ubuntu 14.

27 Ironic インストール時の苦労話検証環境 OpenStack Juno (2014.2) OS: Ubuntu Ubuntu の Juno リポジトリでは Ironic は Icehouse(2014.1) のものしかなかった

28 Ironic インストール時の苦労話 Diskimage-builder が実行できない dib-run-parts not found dib-utils をインストールすると解決

29 Ironic インストール時の苦労話 TFTP ブートができない Dnsmasq.conf を作成し dhcp-agent に読ませて解決実は Ironic.conf にて上記を設定できる要 map ファイル

30 Ironic インストール時の苦労話 iscsi ターゲットに接続できない iscsiadm ~~ --login iscsiadm ~~ --logout この間 3~4 秒 Error: [Errno 2] No such file or directory: /dev/disk/by-path/ip-. Ironic-conductor.log より rootwrap ファイルの所有者を root に変えることで解決そもそもこの問題に直面しなかったという報告もある

31 Ironic インストール時の苦労話 rootwrap ファイルの所有者を root に変えることで解決

32 Ironic インストール時の苦労話 Metadata-agent に繋がらない Cloud-init で 120 秒間タイムアウトするまで待たされる

33 Ironic インストール時の苦労話 Metadata-agent に繋がらない以下を Neutron の dhcp-agent.ini に追記することで解決 enable_isolated_metadata=true

34 Ironic インストール時の苦労話 Metadata-agent に繋がらない先の方法に気付くまではディスクイメージに SSH 公開鍵を追加 $ disk-image-create -o my-image ubuntu baremetal local-config 上記コマンド実行ユーザの $HOME/.ssh/authorized_keys をそのままコピーしているプロキシの環境変数も引き継ぐ

35 現在の検証状況ネットワーク隔離 Ironic-neutron-plugin ironic-neutron-plugin/ ベアメタルノードを VLAN に接続 VLAN100 VLAN200 単純なフラットネットワークだと他のマシンと疎通が取れてしまう VLAN300 管理ホスト DHCP Agent Cisco Switch ベアメタルノード

36 本日のまとめ Ironic は実用的に動作してきているもっと情報が充実してもいい頃? 様々な問題点はあるが今後のドライバ次第ネットワーク隔離についてはこれからスイッチとの連携など

OpenStack運用実践によるエンタープライズ適用に向けた課題と今後について～ベアメタルサービスの現状とDesign Summitでの討議状況～

OpenStack運用実践によるエンタープライズ適用に向けた課題と今後について～ベアメタルサービスの現状とDesign Summitでの討議状況～ OpenStack 運用実践によるエンタープライズ適用に向けた課題と今後について ~ ベアメタルサービスの現状と Design Summit での討議状況 ~ 2015 年 7 月 13 日富士通株式会社椎名宏徳 0 本日のアジェンダ Ironic の概要説明ベアメタルサービスの現状と Design Summit での討議状況 1 Ironic の概要 2 ベアメタルサービスエンタープライズ適用に向けて必要な機能