InfoFrame Relational Store V2.2 構築ガイド for Amazon Web Services RS J

Transcription

1 InfoFrame Relational Store V2.2 構築ガイド for Amazon Web Services RS J

2 商標類 Apache Hadoop Hadoop HDFS は Apache Software Foundation の米国およびその他の国における登録商標または商標です Ethernet は 米国 XEROX の登録商標です Intel Intel64 Xeon および Itanium は Intel Corporation の登録商標です Linux は Linus Torvalds の日本およびその他の国における登録商標または商標です Oracle および Java は Oracle Corporation およびその子会社 関連会社の米国およびその他の国における登録商標です Red Hat Red Hat Enterprise Linux は 米国およびその他の国における Red Hat, Inc. の登録商標です UNIX は米国およびその他の国において The Open Group が独占的にライセンスする登録商標です Windows Server 2008 は 米国マイクロソフト社の米国ならびに他の国における登録商標です Amazon Web Services "Powered by Amazon Web Services" ロゴ AWS Amazon EC2 EC2 Amazon Elastic Compute Cloud Amazon Virtual Private Cloud Amazon VPC は 米国その他の諸国における Amazon.com, Inc. またはその関連会社の商標です その他記載されている会社名 商品名は各社の商標または登録商標です 著作権 日本電気株式会社の許可なく複製 改変などを行うことはできません 本書の内容に関しては将来予告なしに変更することがあります i

3 はじめに 対象読者と目的 InfoFrame Relational Store V2.2 構築ガイド for Amazon Web Services は Amazon Web Services ( 以下 AWS) 上で IRS のシステムを構築する管理者 およびユーザサポートを行うシステムエンジニア 保守員を対象にしています ここでご紹介する構成のサンプルや設定例は あくまで参考情報としてご提供するものであり 動作保証をするものではありません 関連マニュアル 本書を使用するにあたり 関連するマニュアルとして次のものがあります RS J RS J InfoFrame Relational Store ユーザーズガイド InfoFrame Relational Store インストレーションガイド 適用範囲 本書は 下記のバージョンの IRS を対象としています InfoFrame Relational Store V2.2 また 以下の AWS サービスを構築に利用します Amazon Virtual Private Cloud ( 以下 VPC) Amazon Elastic Compute Cloud ( 以下 EC2) Amazon Elastic Block Store ( 以下 EBS) ii

4 目次 第 1 章機能概要 機能概要 基本構成...1 第 2 章動作環境 動作環境...4 第 3 章注意事項 IP アドレスとホスト名 Private IP アドレスと Private Hostname Public Hostname...5 第 4 章設定手順 VPC の設定 VPC の作成 サブネットの作成 DNS ホスト名の有効化 セキュリティグループの設定 IRS サーバ間のグループ設定 管理コンソールの利用 Hadoop 連携およびローダ機能 (mapreduce モード ) の利用 SQL 実行 EC2 インスタンスの設定 EC2 インスタンスの作成 ストレージの設定 ストレージの種類 EBS のマウント /etc/hosts の設定 IRS のインストールと設定...12 iii

5 第 1 章機能概要 第 1 章機能概要 1.1 機能概要 本書では AWS 上に IRS 環境を構築するために必要な設定について説明します IRS の構築を開始する前に 本設定を済ませておく必要があります IRS 自体の構築手順は InfoFrame Relational Store インストレーションガイド をご参照ください また IRS 環境の構築後に各種 IRS サーバの Amazon Machine Image ( 以下 AMI) を作成 ( バックアップ ) しておくことにより 以下のようなことが可能になります EC2 インスタンスに障害が発生した場合に 上記 AMI を用いて別の EC2 インスタンスを立ち上げることで 簡単に代替の IRS サーバを用意することができます 上記 AMI を用いて新たに EC2 インスタンスを作成することで 構築の完了した IRS サーバを容易に追加することができます また この方法でスケールアウト時の IRS サーバ追加にかかる時間を短縮することもできます 1.2 基本構成 本書では 次のような構成のシステムを想定しています 1

6 第 1 章機能概要 図 1-1 AWS 上での IRS 構築イメージ リージョン (Region) マシンの物理的に離れた設置場所 利用可能ゾーン (Availability Zone) リージョンの中でもさらに物理的に離れた設置場所 セキュリティグループ (Security Group 1~4) EC2 インスタンスに適用するファイアウォール設定 IRS はサーバを多重化する機構を備えており IRS システム単独で信頼性を保証しています そのため AWS 上にシステムを構築する場合も その他の信頼性を保証する機能を導入する必要はありません EC2 は EC2 インスタンスの作成時にマシンの物理的な設置場所であるリージョン / 利用可能ゾーンを指定します IRS のサーバを稼働する EC2 インスタンスは すべて同一の利用可能ゾーン内に配置してください また VPC 上で EC2 を利用することで EC2 インスタンス同士の通信で使う Private IP アドレスを固定することができます VPC を設定していない場合 Private IP アドレスは再起動のたびに変更されるので注意してください 2

7 第 1 章機能概要 Asia Pacific (Tokyo) などのリージョンではデフォルト VPC が設定されているため Private IP アドレスの固定のために特別な設定は必要ありません デフォルト VPC が設定されていないリージョンを使う場合は Private IP アドレスの固定のために利用者は別途 VPC の設定を行う必要があります 図中の各セキュリティグループの詳細については セキュリティグループの設定 (7 ページ ) で説明します 3

8 第 2 章動作環境 第 2 章動作環境 2.1 動作環境 本書では 以下の環境を想定の上 構築例を記載しています ノードの共通仕様 OS InfoFrame Relational Store V2.2 Red Hat Enterprise Linux 6.4 (x64) Java Java SE 6 (update 43) 推奨 EC2 インスタンスタイプ IRS サーバの種類構成管理サーバ Partiqle サーバトランザクションサーバストレージサーバ EC2 インスタンスタイプ m1.large m3.2xlarge m3.2xlarge m1.xlarge 4

9 第 3 章注意事項 第 3 章注意事項 3.1 IP アドレスとホスト名 Private IP アドレスと Private Hostname EC2 で作成した EC2 インスタンスを起動すると 自動的に Private IP アドレスと Private Hostname が割り当てられます これらは EC2 インスタンス同士の通信に使用します 以下の IRS のコンフィグファイルには IP アドレスとホスト名を指定する箇所がありますが ここで指定する IP アドレスとホスト名には この Private IP アドレスと Private Hostname を指定してください jms-jndi.properties rsmasterdb.properties rs-servers.xml cluster.xml partiqlecluster.xml RSMasterDB 構築時の rolelist また AWS を使用する場合 名前解決に /etc/hosts を使用してください その際 Private Hostname は末尾の.localdomain の有無が EC2 インスタンスの起動のたびに変わるので /etc/hosts に追加するホスト名は.localdomain があるものとないものの両方を記載してください 以下に /etc/hosts の記載例を示します localhost.localdomain localhost ::1 localhost6.localdomain6 localhost ip ip localdomain ip ip localdomain ip ip localdomain ip ip localdomain Public Hostname Public Hostname は AWS 外部のマシンと EC2 インスタンスとの通信に使用します 例えば オンプレミス上の管理コンソールから構成管理サーバに接続する場合に指定してください 5

10 第 4 章設定手順 第 4 章設定手順 本項では IRS を構築する上で必要な AWS 環境特有の設定について説明します IRS 自体の構築手順は InfoFrame Relational Store インストレーションガイド をご参照く ださい 4.1 VPC の設定 VPC の作成 IRS では EC2 インスタンスの Private IP アドレスを固定するために VPC を利用します Asia Pacific (Tokyo) などのリージョンでは あらかじめデフォルト VPC が設定されています デフォルト VPC が設定されているリージョンを利用する場合 VPC の作成は省略することができます デフォルト VPC が設定されていないリージョンを利用する場合は IP アドレスを固定するために VPC を 1 つ作成してください VPC は AWS Management Console で [VPC] を選択して VPC Management Console を開いた後 [Start VPC Wizard] から作成できます サブネットの作成 EC2 インスタンスが属するサブネットの設定を行います VPC の作成 (6 ページ ) でデフォルト VPC の利用を選択した場合は デフォルトサブネットが既に設定されています デフォルトサブネットを利用する場合 サブネットの作成を省略することができます デフォルト VPC を使用しない場合は VPC の作成 (6 ページ ) で作成した VPC にサブネットを 1 つ作成してください サブネットは VPC Management Console で [Subnets] を選択した後 [Create Subnet] から作成できます IRS を動作させる EC2 インスタンスは すべてこのサブネット内に配置してください DNS ホスト名の有効化 デフォルト VPC を利用している場合 DNS ホスト名はあらかじめ有効になっているため この手順は不要です 6

11 第 4 章設定手順 VPC の作成 (6 ページ ) で VPC を作成している場合は DNS ホスト名が有効になっていることを確認してください DNS ホスト名が有効かどうかの確認は VPC Management Console において VPC の作成 (6 ページ ) で作成した VPC を選択し 以下の 2 つのチェックボックスを確認します Enable DNS resolution. Enable DNS hostname support for instances launched in this VPC. いずれかのチェックボックスのチェックがはずれている場合 DNS ホスト名が無効になっています DNS ホスト名が無効状態の場合は 両方のチェックボックスをチェックし DNS ホスト名を有効にしてください 図 4-1 DNS ホスト名の有効化 セキュリティグループの設定 セキュリティグループは EC2 インスタンスに対するファイアウォールとして動作します 構築の際は 利用する IRS の機能ごとに適切なセキュリティグループを指定してください ただし 明確にセキュリティグループを分ける必要がない場合は 単一のセキュリティグループにすべての EC2 インスタンスを含んでもかまいません 業務内容にあわせてセキュリティグループを設定してください セキュリティグループは VPC Management Console で [Security Groups] を選択した後 [Create Security Group] から作成します 図 1-1 AWS 上での IRS 構築イメージ (2 ページ ) では 4 種類のセキュリティグループを IRS の機能ごとに設定しています それぞれのセキュリティグループの意味は次の通りです 7

12 第 4 章設定手順 Security Group 1 ( 必須 ) IRS の全サーバが属する必要のあるセキュリティグループ Security Group 2 IRS の管理コンソール用セキュリティグループ Security Group 3 Hadoop 連携機能 ローダ機能 (mapreduce モード ) 用セキュリティグループ Security Group 4 クライアントからの SQL 実行用セキュリティグループ IRS サーバ間のグループ設定 Security Group 1 は IRS のサーバが相互に通信するために必要なセキュリティグループで 設定が必須です IRS のサーバを構成するすべての EC2 インスタンスが属する必要があります EC2 では EC2 インスタンス同士ですべてのポート接続が許可された default グループがあらかじめ用意されています Security Group 1 では EC2 インスタンス作成時にこの default グループを設定します このセキュリティグループに含むマシンは次の通りです 構成管理サーバ Partiqle サーバ トランザクションサーバ ストレージサーバ 管理コンソールの利用 Security Group 2 は IRS の管理コンソールを利用するためのセキュリティグループです 管理コンソールは構成管理サーバとの通信を必要とします 環境にあわせて 適切なセキュリティグループを設定してください このセキュリティグループに含むマシンは次の通りです 構成管理サーバ 管理コンソールを利用する AWS 外部のマシン 8

13 第 4 章設定手順 Hadoop 連携およびローダ機能 (mapreduce モード ) の利用 Security Group 3 は Hadoop 連携機能およびローダ機能 (mapreduce モード ) を利用するためのセキュリティグループです Hadoop 連携機能およびローダ機能 (mapreduce モード ) では Hadoop クラスタとストレージサーバ トランザクションサーバが通信できる必要があります 環境にあわせて 適切なセキュリティグループを設定してください このセキュリティグループに含むマシンは次の通りです ストレージサーバ トランザクションサーバ Hadoop クラスタ SQL 実行 Security Group 4 は SQL 実行のために必要なセキュリティグループです SQL を実行するクライアントは Partiqle サーバとの通信を必要とします 環境にあわせて 適切なセキュリティグループを設定してください このセキュリティグループに含むマシンは次の通りです Partiqle サーバ SQL を実行するクライアント 4.2 EC2 インスタンスの設定 EC2 インスタンスの作成 EC2 インスタンスは AWS Management Console で [EC2] を選択して EC2 Management Console を開いた後 [Launch Instance] から作成できます EC2 インスタンスを作成する際は 次の点に注意してください サブネットは IRS を動作させる全ての EC2 インスタンスで サブネットの作成 (6 ページ ) で作成したものを選択する セキュリティグループは EC2 インスタンス毎に担当する機能に合わせて セキュリティグループの設定 (7 ページ ) で作成したものを選択する Public Hostname が必要な場合は チェックボックス [Auto-assign Public IP] をチェックする 9

14 第 4 章設定手順 図 4-2 Public Hostname の有効化 ストレージの設定 ストレージの種類 EC2 には 次の 2 種類のストレージ ( 補助記憶装置 ) があります インスタンスストレージ EC2 インスタンスの使用料金内で使えるストレージ EC2 インスタンスを停止すると 書き込まれたデータも消去される EBS 利用には EC2 インスタンスの使用料金とは別に課金が必要 EC2 インスタンスを停止してもデータは削除されず 保持される インスタンスストレージを使用した場合 障害時など予期せず EC2 インスタンスが停止した際にデータがロストします EBS は EC2 インスタンスが停止してもデータを保持し続けることができるため IRS では EBS を利用します EBS のマウント EBS は任意のタイミングで追加することができます 本項では EC2 インスタンス作成時に EBS を追加する方法を説明します 以下の手順で EBS を /opt にマウントしてください 1. EC2 インスタンス作成時 デバイスに EBS を追加する 10

15 第 4 章設定手順 図 4-3 EBS の追加容量は GiB 単位で指定できます ストレージは /dev の下に xvd** といった名前で追加されます ** の部分は追加したストレージの数などによって変わるので 環境にあったものを選択しマウントしてください (root デバイスが /dev/xvda1 で登録されているので /dev/xvdb 以降のものから選択 ) 2. 作成した EC2 インスタンスにログインし ext4 で EBS をフォーマットする # mkfs -t ext4 /dev/xvdb 3. フォーマットした EBS を /opt にマウントする # mount -t ext4 /dev/xvdb /opt IRS のインストール物件や立ち上げた IRS サーバのデータが /opt の下に作成されます /etc/hosts の設定 名前解決のために /etc/hosts に設定する IP アドレスやホスト名は EC2 インスタンスの初回起動時に EC2 インスタンスに対して自動的に設定されます /etc/hosts の設定の詳細については Private IP アドレスと Private Hostname(5 ページ ) をご参照ください 11

16 第 4 章設定手順 4.3 IRS のインストールと設定 IRS 自体のインストール手順については InfoFrame Relational Store インストレーションガイド をご参照ください IRS のインストール後 IRS のコンフィグファイルに各 EC2 インスタンスに割り当てられている IP アドレスとホスト名を設定する必要があります 設定の詳細については Private IP アドレスと Private Hostname(5 ページ ) をご参照ください 12

17 NEC Corporation 2013 InfoFrame Relational Store V2.2 構築ガイド for Amazon Web Services RS J 2013 年 9 月 1 版発行 日本電気株式会社