データをつなぎサービスを 提 供 するファンタジスタ DataSpider サイジング ~アセスメント 編 ~ 2011 年 12 月 21 日 本 資 料 に 関 するご 質 問 お 問 い 合 わせは dstnフォーラムにて 投 稿 をお 願 いいたします 本 資 料 を 無 断 で 複 写 複 製 することを 禁 じます
DataSpiderのアセスメントについて この 資 料 は DataSpiderの 運 用 状 況 を 解 析 (アセスメント)す る 際 の 指 標 と 方 法 を 参 考 資 料 としてまとめたものです アセスメントは 現 状 のDataSpiderの 運 用 状 況 を 解 析 し 追 加 開 発 時 もしくは 他 新 規 案 件 の 機 種 選 定 などの 参 考 情 報 としていただくことを 目 的 としています 2
データをつなぎサービスを 提 供 するファンタジスタ DataSpiderのアセスメント 概 要 3
アセスメントの 考 え 方 DataSpiderのアセスメントするには 以 下 の 二 つの 軸 での 解 析 が 有 効 です 1. HW 負 荷 HWの 負 荷 状 況 をモニタリングし 現 運 用 状 況 におけるHWの 性 能 適 合 性 を 評 価 する 2. 処 理 時 間 スクリプトの 処 理 時 間 推 移 を 解 析 し 現 運 用 状 況 における 処 理 時 間 の 妥 当 性 を 評 価 する 4
データをつなぎサービスを 提 供 するファンタジスタ HW 負 荷 状 況 モニタリング 5
HW 負 荷 状 況 モニタリング 1. HW 負 荷 状 況 HW 負 荷 解 析 のためには 以 下 の 項 目 のモニタリングが 有 効 です メモリ 使 用 状 況 JavaVM 全 体 のメモリ 使 用 状 況 スクリプト 当 たりのメモリ 使 用 状 況 CPU 使 用 状 況 JavaVM 全 体 のCPU 使 用 状 況 スクリプト 当 たりのCPU 使 用 状 況 HD 使 用 状 況 6
データをつなぎサービスを 提 供 するファンタジスタ JavaVM 全 体 のメモリ 使 用 状 況 7
JavaVM 全 体 のメモリ 使 用 状 況 DataSpiderはJavaアプリケーションであるため JavaVMをプラットフォ ームとして 稼 働 します JavaVM 上 で 起 動 するアプリケーションは 事 前 に 利 用 するメモリサイズ(ヒープサイズ)を 指 定 することができ その 指 定 したサイズ 内 で 動 的 に 利 用 メモリサイズを 確 保 するという 動 きをし ます そのため 全 体 の 使 用 メモリだけの 確 認 だけではなく ヒープサ イズの 妥 当 性 の 確 認 が 必 要 です DataSpiderのコントロールパネル[タスクマネージャ]からもヒープサイ ズの 使 用 状 況 を 確 認 できますが ここではより 詳 細 な 情 報 を 確 認 するこ とができるため jconsole によるモニタリングを 推 奨 します jconsole http://java.sun.com/javase/ja/6/docs/ja/technotes/guides/management /jconsole.html 8
jconsoleによるjavavm 利 用 状 況 モニタリング jconsoleの 利 用 jconsoleは Javaプラットフォームで 実 行 されるアプリケーションのパフォー マンスとリソース 消 費 に 関 する 情 報 をモニタリングするツールで JDK 標 準 ツー ルです VM 全 体 の 情 報 やメモリ 使 用 状 況 を 確 認 することができます 既 存 のDataSpider 環 境 へなるだけ 影 響 を 与 えないように リモート 接 続 による モニタリングを 推 奨 します DataSpider jconsole 別 筐 体 からの リモート 接 続 jconsole JavaVM JavaVM 別 VMからの ローカル 接 続 JavaVM 9
jconsoleによるjavavm 利 用 状 況 モニタリング jconsoleでdataspiderを 監 視 するための 設 定 DataSpiderServer.laxファイルに 以 下 の 追 加 をします プロパティ: lax.nl.java.option.additionalに 以 下 の 値 を 追 加 ローカルマシンから 監 視 する 場 合 -Dcom.sun.management.jmxremote リモートマシンから 監 視 する 場 合 -Dcom.sun.management.jmxremote.port=<portNum> 1 -Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false 1 portnum は 使 用 していないポート 番 号 を 指 定 DataSpiderServerをWindowsサービス 起 動 している 場 合 はリモート 接 続 を 利 用 してください 10
jconsoleによるjavavm 利 用 状 況 モニタリング jconsoleの 起 動 コマンドプロンプトで 以 下 のコマンドを 入 力 C: >jconsole ローカル 接 続 リモート 接 続 com.zerog.lax.lax から 始 まる 名 前 を 選 択 <ホスト 名 >:<ポート> で 接 続 先 を 設 定 11
jconsoleによるjavavm 利 用 状 況 モニタリング jconsoleの 見 方 このプルダウンメニューからヒープメ モリと 非 ヒープメモリの 使 用 状 況 が 確 認 可 能 です ヒープサイズの 見 方 使 用 済 み 使 用 中 ヒープサイズ 確 定 確 保 済 ヒープサイズ 最 大 最 大 ヒープサイズ 12
jconsoleによるjavavm 利 用 状 況 モニタリング 測 定 結 果 からの 分 析 jconsoleは モニタリングの 時 間 範 囲 を 指 定 することで 可 能 であるため ピー ク 時 を 含 む 一 定 期 間 を 指 定 することで ピーク 時 から 平 常 時 までのモニタリン グが 可 能 になります ピーク 時 のヒープサイズ 使 用 中 ヒープサイズの 最 大 値 で 確 認 可 能 ヒープサイズの 利 用 率 ピーク 時 のヒープサイズ 最 大 ヒープサイズ 13
データをつなぎサービスを 提 供 するファンタジスタ スクリプト 当 たりのメモリ 使 用 状 況 14
スクリプト 当 たりのメモリ 使 用 状 況 スクリプト 一 本 当 たりのメモリ 使 用 状 況 は スクリプト 実 行 前 の 最 小 使 用 メモリサイズとスクリプト 実 行 時 の 最 大 使 用 メモリサイズが 確 認 できれば 算 出 可 能 です 以 下 のいずれかの 方 法 で 最 小 使 用 メモリサイズと 最 大 使 用 メモリサイズを 確 認 が 可 能 です DataSpiderのCLIコマンド memstat をインターバルで 実 行 以 下 のようなバッチファイルを 記 述 し CLIコマンド memstat を 定 期 的 に 実 行 することでメモリステ ータスを 定 期 的 に 確 認 可 能 です :TOP CALL ${DataSpider.home} server bin cli -MC: clicommand >> memstat.log ping localhost -n 5 >NUL GOTO TOP clicommandで memstat を 実 行 するようにします コントロールパネル[タスクマネージャ]パフォーマンスタブで 確 認 パフォーマンスタブの 左 下 例 :19351K used の 箇 所 を 目 視 になりますが 定 期 的 に 観 測 することで 確 認 可 能 です 15
データをつなぎサービスを 提 供 するファンタジスタ JavaVM 全 体 のCPU 使 用 状 況 16
JavaVM 全 体 のCPU 使 用 状 況 JavaVM 全 体 のCPU 使 用 状 況 は メモリサイズ 確 認 時 と 同 様 jconsoleにて 確 認 が 可 能 です メモリサイズ 確 認 時 と 同 様 ピーク 時 を 含 む 一 定 期 間 をすることで ピー ク 時 のCPU 使 用 状 況 が 確 認 可 能 です CPUのリソース 利 用 率 最 小 CPU 資 料 率 最 大 CPU 利 用 率 CPU 使 用 状 況 の 確 認 が 可 能 です 右 クリック データを 別 名 で 保 存 で 一 旦 CSVに 出 力 すると 確 認 しやすい です 17
データをつなぎサービスを 提 供 するファンタジスタ スクリプト 当 たりのCPU 使 用 状 況 18
スクリプト 当 たりのCPU 使 用 状 況 スクリプト 当 たりのCPU 使 用 状 況 もjconsoleで 確 認 が 可 能 です 計 測 用 スクリプトのみを 実 行 した 期 間 を 指 定 することで スクリプト 当 た りのCPU 使 用 状 況 が 確 認 可 能 です CPU 使 用 状 況 の 確 認 が 可 能 です 右 クリック データを 別 名 で 保 存 で 一 旦 CSVに 出 力 すると 確 認 しやすい です 19
データをつなぎサービスを 提 供 するファンタジスタ HD 使 用 状 況 20
HD 使 用 状 況 DataSpiderはマウント 設 定 をしていない 場 合 には DataSpiderのホーム ディレクトリ 内 で 必 要 ファイルを 管 理 します そのため マウント 設 定 を していなければ ディレクトリサイズをそのままHD 使 用 サイズと 考 えて 問 題 ありません ( DataSpiderが 利 用 するディスク 容 量 については 次 ページ 参 照 ) リポジトリDBを 利 用 している 場 合 には リポジトリDBのサイズも 考 慮 にい れる 必 要 があります DS_ で 始 まるテーブルがDataSpiderが 利 用 してい るテーブルになりますので リポジトリDBとして 利 用 しているDBMSに て DS_ で 始 まるテーブルサイズを 確 認 いただくことで 使 用 サイズは 確 認 可 能 です 21
HD 使 用 状 況 必 要 な ディスク 容 量 動 作 領 域 + DataSpider ファイル システム + +α 動 作 領 域 最 小 構 成 時 の 必 要 空 き 容 量 DataSpiderファイルシステム ( 主 なディレクトリ) 設 定 ファイル(/etc) プロジェクト(/home) 共 有 プロジェクト(/share) ログ(/logs) 一 時 利 用 フォルダ(/tmp) 考 慮 すべきポイント 各 プラットフォームにより 異 なる ( 製 品 に 同 梱 のREADME 参 照 ) サイズに 影 響 が 大 きいのは プロジェクト(/home) プロジェクトのサイズ - 処 理 に 依 存 (アイコンの 数 種 類 ) -バージョン 数 に 依 存 リポジトリDB 有 無 ログ(/logs) 設 定 処 理 内 容 に 依 存 する 一 時 利 用 フォルダ(/tmp) 大 容 量 データ 処 理 の 使 用 の 有 無 +α データ( 保 存 する 場 合 ) データを 保 存 する 場 合 には 必 要 に 応 じて 空 き 容 量 を 確 保 する 22
データをつなぎサービスを 提 供 するファンタジスタ 処 理 時 間 モニタリング 23
処 理 時 間 モニタリング DataSpiderが 出 力 している 以 下 のログを 解 析 することで 処 理 時 間 推 移 を 確 認 することが 可 能 です ${DataSpider.home}/server/logs/${ 実 行 日 時 }/exec.log このexec.logは で 区 切 られたテキストファイルであるため DataSpiderのCSVアダプタで 読 み 取 りが 可 能 です 添 付 のサンプルスクリ プト( 解 析 用 ファイル 生 成 スクリプト)にて exec.logをcsvに 変 換 できま す 変 換 したCSVファイルをDataSpiderやExcelを 利 用 して 分 析 することが 可 能 です 24
データをつなぎサービスを 提 供 するファンタジスタ アセスメント 結 果 まとめサンプル 25
アセスメント 結 果 まとめサンプル HW 負 荷 状 況 メモリ 使 用 CPU HD DataSpiderの 使 用 状 況 使 用 率 今 後 実 行 数 増 加 が 見 込 まれるスクリプトの 状 況 1 本 あたりの 使 用 状 況 最 大 同 時 実 行 数 スクリプト 全 体 の 使 用 状 況 メモリ 使 用 CPU 平 均 処 理 時 間 ランキング プロジェクト 名 /スクリプト 名 最 大 同 時 実 行 数 1 2 3 4 5 6 7 8 9 10 26
ご 質 問 お 問 い 合 わせは Dstnフォーラムにて 投 稿 をお 願 いします http://dstn.appresso.com 2008, APPRESSO K.K. All Rights Reserved. 27