EMC CLARiX CX4エンタープライズ・フラッシュ・ドライブとMicrosoft Exchange

Similar documents
ホワイト ペーパー EMC VFCache により Microsoft SQL Server を高速化 EMC VFCache EMC VNX Microsoft SQL Server 2008 VFCache による SQL Server のパフォーマンスの大幅な向上 VNX によるデータ保護 E

フラッシュ・ドライブを使用したEMCSymmetrix DMX-4 の超高性能階層0

エンタープライズ・フラッシュ・ドライブとEMC CLARiX CX4を利用したOracleデータベースの展開

Oracleデータベースを使用したEMC Symmetrix DMX-4

White Paper EMC DATA DOMAIN BOOST と SYMANTEC NETBACKUP の分散重複除外機能によるバックアップ処理の高速化 実機による検証結果の報告 要約 EMC Data Domain Boost for Symantec OpenStorage( 以下 DD

VMware DRS およびEMC Navisphere QoS を使用したVMware 仮想マシンのエンド・ツー・エンド・サービス・レベルの維持

Microsoft SQL Server 2005を使用するEMC Symmetrix DMXへの仮想プロビジョニングの実装

EMC PowerPath/VEによるVMware向けEMCパフォーマンス最適化

アドバンスト・フォーマットディスクのパフォーマンス

変更履歴 項番版数内容更新日 版新規作成 2013 年 11 月 18 日 1

Transitioning from Microsoft® Exchange Server 2003 to Exchange Server 2007 while using HP StorageWorks All-in-One Storage System for storage

Microsoft PowerPoint - SME_090213_03_公開用.ppt

性能を強化した 第 12 世代 Dell PowerEdge サーバの RAID コントローラ Dell PERC H800 と PERC H810 の OLTP ワークロード性能比較 ソリューション性能分析グループ Luis Acosta アドバンストストレージエンジニアリング Joe Noyol

Software-Defined Storage ware Virtual SAN ware Virtual SAN

Microsoft Word - nvsi_050110jp_netvault_vtl_on_dothill_sannetII.doc

KSforWindowsServerのご紹介

HPE Integrity NonStop NS2300 サーバー

TITLE 44 POINT META NORMAL LF ALL CAPS

Control Manager 6.0 Service Pack 3 System Requirements

Microsoft Word - JP-AppLabs-MySQL_Update.doc

CLUSTERPRO MC RootDiskMonitor 1.1 for Linux リリースメモ 2013(Sep) NEC Corporation ライセンス パッケージのインストール セットアップ マニュアル

Oracle Web CacheによるOracle WebCenter Spacesパフォーマンスの向上

Windows Server 2016 ライセンス体系に関するデータシート 製品の概要 Windows Server 2016 は 準備が整った時点でクラウドコンピューティングへ簡単に移行できる新しいテクノロジを導入すると同時に 現在のワークロードをサポートするクラウドレディのオペレーティングシステ

EMC Virtual Infrastructure for Microsoft SharePoint Server Enabled by EMC CLARiiON and VMware vSphere 4

EMC Data Domain Boost for Symantec NetBackup and NetBackup Storage Unit Group Failover

Chapter Title

Oracleライフサイクル管理ソリューション概要

使用する前に

スライド 1

Silk Central Connect 15.5 リリースノート

EMC CLARiX AX4製品カタログ

V8_教育テキスト.dot

Express5800 WSUS 導入セットご紹介資料

StoreEasy 1x40 RAID構成ガイド

Veritas System Recovery 16 Management Solution Readme

システム要件 Trend Micro Safe Lock 2.0 SP1 Trend Micro Safe Lock 2.0 SP1 エージェントのシステム要件 OS Client OS Server OS Windows 2000 (SP4) [Professional] (32bit) Wind

目次 Windows 2003 への新規インストール... 3 Windows 2008 への新規インストール... 4 Windows 2012 への新規インストール... 6 Microsoft SQL のサポート... 8 IPv4/IPv6 のサポート... 8 制限事項... 9 Web

Exam : 日本語版 Title : Enterprise Storage Sales V3 Vendor : IBM Version : DEMO 1 / 5 Get Latest & Valid J Exam's Question and Answers from

MAGNIA Storage Server Configuration Guide

PowerPoint プレゼンテーション

InfiniDB最小推奨仕様ガイド

038_h01.pdf

共通マイクロアーキテクチャ 富士通はプロセッサー設計に共通マイクロアーキテクチャを導入し メインフレーム UNIX サーバーおよびスーパーコンピューターそれぞれの要件を満たすプロセッサーの継続的かつ効率的な開発を容易にしている また この取り組みにより それぞれの固有要件を共通機能として取り込むこと

はじめに Dell PowerVault DL2000 Powered by Symantec Backup Exec は シンプルで管理しやすいデータ保護機能を提供する 柔軟かつ経済的なバックアップソリューションです 本ホワイトペーパーでは PowerVault DL2000 の バリューシリーズ

Copyright 2011 EMC Corporation. All Rights Reserved. EMC Corporation は この資料に記載される情報が 発行日時点で正確であるとみなしています この情報は予告なく変更されることがあります この資料に記載される情報は 現状のまま の条件

proventia_site_protector_sp8_sysreq

Oracle Enterprise Manager 10g System Monitoring Plug-In for IBM WebSphere Application Server

Microsoft Word - H2534-J_emc_symmetrix_bu_stor_sol_networker_wp.doc

EMC Data Domain SISL Scaling Architecture

HP StorageWorks X9000 Network Storage System

PowerPoint プレゼンテーション

Oracle Real Application Clusters 10g: 第4世代

EMC RecoverPointによるVMware災害復旧の向上

CLUSTERPRO MC StorageSaver 2.2 for Linux リリースメモ 2017(Apr) NEC Corporation ライセンス パッケージのインストール セットアップ マニュアル 補足事項 注意事項

Symantec Enterprise Vault 10.0 for Exchange の管理練習問題 例題 1. 最適化された単一インスタンスストレージ (OSIS) の主要な機能は次のどれですか (2 つ選択 ) a. Exchange SharePoint FSA アーカイブの間での共有 b.

Japanese.p65

免責事項 Samsung Electronics は 製品 情報 および仕様を予告なく変更する権利を留保します 本書に記載されている製品および仕様は 参照のみを目的としています 本書に記載されているすべての情報は 現状有姿 のまま 何らの保証もない条件で提供されます 本書および本書に記載されているす

自己管理型データベース: 自動SGAメモリー管理

CLUSTERPRO MC RootDiskMonitor 2.3 for Linux リリースメモ 2018(Jun) NEC Corporation ライセンス パッケージのインストール セットアップ マニュアル

EMC Navisphere Secure Command Line Interface

改版履歴 Ver. 日付履歴 1.0 版 2014/5/30 新規作成 目次 0 はじめに 本文中の記号について Hyper-V 2.0 をインストールするための準備 インストール前に確認が必要なもの Hyper-V 2.0 の

EMC Data Domain Archiver

CLUSTERPRO MC RootDiskMonitor 2.3 for Windows リリースメモ 2018(Jun) NEC Corporation はじめに ライセンス 動作要件 セットアップ マニュアル

ORACLE TUNING PACK 11G

OpenLAB Data Store Release Notes

Pervasive PSQL v11 のベンチマーク パフォーマンスの結果

Trend Micro Safe Lock 2.0 Patch1 管理コンソールのシステム要件 OS Windows XP (SP2/SP3) [Professional] Windows 7 (SP なし /SP1) [Professional / Enterprise / Ultimate] W

新製品 Arcserve Backup r17.5 のご紹介 (SP1 対応版 ) Arcserve Japan Rev. 1.4

ディスクへのバックアップのためのEMCソリューション EMC Celerra、MPFS、EMC NetWorkerによるNASバックアップの高速化

(Microsoft Word - WhitePaper_EvaluationAvanceNVBU__rev2_\203t\203H\201[\203\200\211\374\222\371\224\305_.doc)

CLUSTERPRO MC StorageSaver 1.0 for Windows インストールガイド 2013(Mar) NEC Corporation はじめに 製品導入の事前準備 本製品のインストール 本製品の初期設定 本製品のアンインストール 注意 制限事項

東芝 MAGNIA R3320b での SSD 性能の検証 2012 年 8 月 株式会社東芝 クラウド & ソリューション事業統括部 目次 1. はじめに ソリッドステートドライブの概要 使用機器一覧 単体性能について サーバー用途別のテスト

Copyright 2010 EMC Corporation. All rights reserved. このドキュメントに記載されている情報は ドキュメントの出版日現時点の情報です この情報は予告なく変更されることがあります この資料に記載される情報は 現状有姿 の条件で提供されています EMC

ライセンスの注意事項 サーババンドル版のライセンスについてサーババンドル版では 通常のサーバライセンスおよび 4 コアライセンスを ベースライセンス 追加サーバライセンスおよび追加 2 コアライセンスを 追加ライセンス と呼びます 1 台の物理サーバに対してベースライセンスは 1 つしか購入すること

EMC NetWorker 7.5 for VMware

ビッグデータやクラウドのシステム基盤向けに処理性能を強化した「BladeSymphony」および「HA8000シリーズ」の新製品を販売開始

改版履歴 版数 改版 内容 新規作成 Microsoft.NET Framework のダウンロード先 URL を追記 バージョンアップに伴い改版 i

Oracle SQL Developerの移行機能を使用したOracle Databaseへの移行

DataKeeper for Windows リリースノート

ライセンスの注意事項 サーババンドル版のライセンスについてサーババンドル版では 通常のサーバライセンスおよび 4 コアライセンスを ベースライセンス 追加サーバライセンスおよび追加 2 コアライセンスを 追加ライセンス と呼びます 1 台の物理サーバに対してベースライセンスは 1 つしか購入すること

Microsoft Word - H4208-J_An_Introduction_to_EMC_CLARiiON_Hard_Drive_Technology-wp.doc

CLUSTERPRO MC StorageSaver 1.1 for Linux リリースメモ 2015(Jun) NEC Corporation ライセンス パッケージのインストール セットアップ マニュアル 補足事項 注意事項

IBM Internet Security Systems NTFS ファイルシステム必須 一覧の 以後にリリースされた Service Pack (Release 2 等は除く ) は特に記載の無い限りサポートいたします メモリ 最小要件 512MB 推奨要件 1GB 最小要件 9GB 推奨要件

JustSystems

Microsoft Active Directory用およびMicrosoft Exchange用Oracle Identity Connector

サーババンドル版ライセンス NX7700x シリーズ Express5800 シリーズのサーバと同時に購入することで パッケージ製品よりも安価 に導入することのできるライセンスも提供しています ライセンスの注意事項 サーババンドル版のライセンスについてサーババンドル版では 通常のサーバライセンスおよ

Oracle Un お問合せ : Oracle Data Integrator 11g: データ統合設定と管理 期間 ( 標準日数 ):5 コースの概要 Oracle Data Integratorは すべてのデータ統合要件 ( 大量の高パフォーマンス バッチ ローブンの統合プロセスおよ

Oracle Cloud Adapter for Oracle RightNow Cloud Service

目次 1 はじめに 登録商標 商標 注意事項 免債事項 SR-IOV の機能概要 性能検証事例 測定環境 測定結果 各方式による共有 NIC 性能比較 ( ポートあ

Oracle Database Clientクイック・インストレーション・ガイド, 10gリリース1( ) for Microsoft Windows

マニュアル訂正連絡票

XHS1991.COM 国際 IT 認定試験問題集の提供者 1 年で無料進級することに提供する

Oracle SQL Developer Data Modeler

Oracle Database におけるDELL|EMC CX4 とエンタープライズ向けフラッシュ・ドライブの効果的な活用法

DocAve Lotus Notes Migrator v5_0 - Product Sheet

システム要件 Trend Micro Safe Lock Trend Micro Safe Lock 2.0 エージェントのシステム要件 OS Client OS Server OS Windows 2000 (SP4) [Professional] (32bit) Windows XP (SP1/

CLUSTERPRO MC ProcessSaver 1.2 for Windows 導入ガイド 第 4 版 2014 年 3 月 日本電気株式会社

Microsoft Word LenovoSystemx.docx

- 主な機能 - 設定機能キャッシュメモリをキャッシュセグメントに分割し 業務で使用する論理ディスクを割り付けるための設定を行います WebSAM istoragemanager のクライアント画面から操作が可能です キャッシュセグメント作成 削除機能キャッシュセグメントの作成 削除を可能にします

WHITE PAPER ソリューションの概要 はじめに 電子メールはあらゆる企業にとって重要であり 利用者の生産性向上 コンプライアンス 証拠開示のために保存する必要があります 従来の電子メールアーカイブは一般的に や他の電子メールサーバの電子メールの負荷を軽減し 開示やコンプライアンスのために保存

Transcription:

高度なテクノロジー 要約 US ホワイトペーパー翻訳版 このホワイト ペーパーでは エンタープライズ フラッシュ ドライブでの Microsoft Exchange の使用を 使用例 パフォーマンス特性 および ファイルの配置の一般的なガイドラインを含めて考察します 2008 年 11 月

Copyright 2008 EMC Corporation. 不許複製 EMC Corporation は この資料に記載される情報が 発効日時点で正確であるとみなしています この情報は 予告なく変更されることがあります この資料に記載される情報は 現状有姿 の条件で提供されています EMC Corporation は この資料に記載される情報に関する どのような内容についても表明保証条項を設けず 特に 商品性や特定の目的に対する適応性に対する黙示の保証はいたしません この資料に記載される いかなる EMC ソフトウェアの使用 複製 頒布も 当該ソフトウェア ライセンスが必要です 最新の EMC 製品名については EMC.com で EMC Corporation の商標を参照してください 他のすべての名称ならびに製品についての商標は それぞれの所有者の商標または登録商標です パーツ番号 H5966-J 高度なテクノロジー 1

目次 エグゼクティブ サマリー...3 概要...3 対象読者... 4 テクノロジーの概要...4 EMC CLARiX CX4 シリーズ... 4 エンタープライズ フラッシュ ドライブ... 4 エンタープライズ フラッシュ ドライブと Microsoft Exchange...6 エンタープライズ フラッシュ ドライブに最適な Exchange 環境... 7 Exchange の ヘビー ユーザーをフラッシュ ドライブに割り当てる... 8 フラッシュ ドライブで Exchange を使用する場合の推奨事項... 9 Exchange ログと ファイルの配置... 9 RAID 保護... 9 キャッシュ設定... 9 エンタープライズ フラッシュ ドライブと HDD の Exchange のパフォーマンスの比較... 10 エンタープライズ フラッシュ ドライブの利点の拡大...11 情報ライフサイクル管理のための EMC EmailXtender... 11 結論...12 関連資料...13 付録 :Jetstress の結果...14 Microsoft Exchange Server Jetstress:TEST 1 の結果... 14 Microsoft Exchange Server Jetstress:TEST 2 の結果... 16 Microsoft Exchange Server Jetstress:TEST 3 の結果... 17 高度なテクノロジー 2

エグゼクティブ サマリー EMC は EMC CLARiX FLARE オペレーティング システムの最新リリースを拡張し エンタープライズ クラスのフラッシュ ドライブを CLARiX CX4 ストレージ アレイに組み込みました フラッシュ ドライブを利用して EMC は 従来の磁気ディスク ドライブのパフォーマンスの限界を超えた新しい超高性能ストレージ階層 階層 0 を創造しました 長年にわたり 最も要求度の高いエンタープライズ アプリケーションは磁気ディスク メディアのパフォーマンスに制限されてきました ストレージ アレイの階層 1 のパフォーマンスは ハード ディスク ドライブの物理的な限界による制限を受けるということです 階層 0 のエンタープライズ フラッシュ ドライブ (EFD) によって 従来にないパフォーマンスと短い応答時間が実現し それらは Microsoft Exchange のようにレーテンシーの影響を受けやすいアプリケーションにとって大きな利点になります エンタープライズ フラッシュ ドライブはソリッド ステート ドライブ (SSD) とも呼ばれ 可動部品を含まないため 従来の磁気ディスク ドライブに起因するストレージのレーテンシーはほとんど解消されます フラッシュ ドライブを搭載した CLARiX CX4 は 1 ミリ秒のアプリケーション レスポンス タイムと 従来のファイバ チャネル ハード ディスク ドライブ (HDD) の最大 30 倍の IOPS(1 秒あたりの I/O 処理数 ) を達成できます また 機械部品が含まれないため フラッシュ ドライブのエネルギー消費量は ハード ディスク ドライブより格段に少なくなります 多数の HDD をより少ない数のエンタープライズ フラッシュ ドライブに換装すると 同じ IOPS ワークロードでのエネルギー消費を大幅に削減できます エンタープライズ フラッシュ ドライブの高いパフォーマンス特性によって 組織では 従来のハード ディスク ドライブを多数購入する必要がなくなります また エンタープライズ フラッシュ ドライブの能力の ほんの一部を利用するだけで Microsoft Exchange の IOPS 要件は満たされます ハード ディスクを 多くの未使用領域を残した状態で使用し パフォーマンスの向上を図ることは ショート ストローキングと呼ばれています エンタープライズ フラッシュ ドライブによって Microsoft Exchange のアプリケーション パフォーマンスが向上し ディスク ドライブのショート ストローキングは不要になります それによって ストレージの占有領域と消費電力が最小限に抑えられ 総所有コスト (TCO) は削減されます EFD の利点が活かされる Exchange 環境の例を以下に示します I/O とレスポンス タイムのいずれか または両方に関して高い要件を持つ複数のユーザーが存在する ユーザー メールボックスが比較的小さいか またはメールのアーカイブによってメールボックスのサイズを増やすことができる 電源 空調 フロア面積が特に重要な要素である ( 増加を続けているコスト または限られている可用性のいずれかのため ) 概要 このホワイト ペーパーでは Microsoft Exchange 環境にエンタープライズ フラッシュ ドライブを導入することの利点について パフォーマンス 消費電力の節約 統合メリットを含めて説明します 使用例とベスト プラクティスについて考察し フラッシュ ドライブと HDD を比較したパフォーマンスの例についても説明します 高度なテクノロジー 3

対象読者 このホワイト ペーパーは エンタープライズ フラッシュ ドライブが Microsoft Exchange とともにどのように導入されるかを理解する必要がある Microsoft Exchange の管理者とストレージ設計者を対象にしています テクノロジーの概要 EMC CLARiX CX4 シリーズ EMC CLARiX は 最高レベルのパフォーマンス 機能 信頼性を備えたコスト パフォーマンスに優れたソリューションをお客様に提供し ミッドレンジ ストレージ市場をリードしています 革新的なハードウェア設計と高度なソフトウェア機能の他に類を見ない組み合わせによって EMC CLARiX CX4 シリーズは システム容量の拡大とパフォーマンスの強化 複雑な環境の管理の簡素化 情報の可用性レベルの引き上げ および重要なアプリケーションとデータの保護など 今日の中規模から大企業の増大し続ける情報技術的な課題に対応します 図 1:CLARiX CX4 ミッドティア アレイ ファミリ 強力な CX4 シリーズ (CX4-120 CX4-240 CX4-480 CX4-960) には 部門向けアプリケーションにも データ センター クラスのビジネス クリティカルなシステムのサポートにも最適な機能が含まれています IT の課題へのより優れた対応を求めている企業に CLARiX CX4 シリーズは 他のミッドレンジ ストレージ システムにはない高度なストレージ機能を提供します 機能の例を以下に示します データの継続的な可用性と整合性の保護 ホットプラグ可能な I/O モジュール システム内およびシステム間でのデータ移動を容易にする高度なストレージ アレイ ベースの情報レプリケーションおよび仮想 LUN テクノロジー 大容量のミラーされたライト キャッシュ 超高速エンタープライズ フラッシュ ディスク 15,000 rpm および 10,000 rpm のファイバ チャネル ハード ディスク 省電力 SATA ディスクを含む 4 層のストレージのサポート 管理が容易な仮想プロビジョニング エンタープライズ フラッシュ ドライブ エンタープライズ クラスの EMC フラッシュ ドライブは 不揮発性の NAND 型半導体フラッシュ メモリで構成されています EMC フラッシュ ドライブは 標準の 3.5 インチ ディスク ドライブ フォーム ファクタにパッケージ化されていて 既存の CLARiX CX4 ドライ 高度なテクノロジー 4

ブ アレイ エンクロージャと互換性のある 4Gb/ 秒ファイバ チャネル インタフェースを備えています (EFD は CX3 UltraScale または以前の CLARiX システムではサポートされていないことにご注意ください )CX-4 で使用されているエンタープライズ フラッシュ ドライブは 特にそのパフォーマンスと信頼性という特性において コンシューマ用途の半導体テクノロジーとは大きく異なります エンタープライズ レベルのドライブ要件を満たすために NAND シングル レベル セル フラッシュ テクノロジーは ダイナミック ウェア レベリング機能によってさらに強化されました この機能によって フラッシュ メモリ内のすべてのセルが均等に使用されるようになり 他の一般的なフラッシュ ドライブによく発生する 劣化 のリスクが最小化されます また エンタープライズ フラッシュ ドライブには 不良ブロックの再マップ機能とマルチビット エラー修正の機能も含まれています このように信頼性が強化されていることと ドライブに可動部品が使用されていないことから エンタープライズ フラッシュ ドライブの寿命は 従来のハード ディスク ドライブを上回ると考えられます 可動部品がないことによる利点は 他にもあります すでに説明されているように エンタープライズ フラッシュ ドライブはこれまでにない高いパフォーマンスを提供できるため 常に短いレスポンス タイムが必要とされるアプリケーションには特に適しています また エンタープライズ フラッシュ ドライブは 従来の回転メディアに比べて消費電力が大幅に抑えられています 以下の図は IOPS と消費電力に関して エンタープライズ フラッシュ ドライブによってもたらされる利益を示しています 図 2 は Microsoft Exchange に適したレスポンス タイムを提供できると予測される各ドライブ テクノロジーについて 相対的な IOPS のレートを示しています ショート ストローキング ( ドライブ容量の一部しか利用しない ) を行う従来のハード ディスク ドライブは ドライブ容量のすべてを利用する場合よりもわずかに高い IOPS を達成していますが 達成されたパフォーマンスは エンタープライズ フラッシュ ドライブで達成できるパフォーマンスの数分の一にも満たない値であることが分かります 図 2: ドライブ タイプ別の IOPS 図 3 は パフォーマンスの利点に加えて 省電力について 従来のハード ディスク ドライブとエンタープライズ フラッシュ ドライブの比較を示しています 多数のショート ストローク HDD をより少数のエンタープライズ フラッシュ ドライブに置き換えることによって 消費電力と空調の需要が大幅に下がります 節約される電力は 実際の構成によって異なります ま 高度なテクノロジー 5

た 従来の HDD のショート ストロークの程度や 置き換えられる HDD の総数の影響も受けます 詳細については EMC Power Calculator から得られる個別の電源使用量に関して EMC の担当者にお問い合わせください 図 3: フラッシュ ドライブと HDD の消費電力の比較 エンタープライズ フラッシュ ドライブでは 従来のハード ディスク ドライブに比べて パフォーマンスの向上に加えて 実質的な節電も達成できます 多数のショート ストローク HDD をより少数のエンタープライズ フラッシュ ドライブに置き換えることによって 消費電力と空調の需要が大幅に下がります 節約される電力は 実際の構成と 置き換えられる HDD の総数によって異なります 詳細については EMC Power Calculator から得られる個別の電源使用量に関して EMC の担当者にお問い合わせください エンタープライズ フラッシュ ドライブと Microsoft Exchange 通常の運用状況では 書き込み要求は CLARiX のキャッシュに直接書き込まれ ホストの I/O レスポンス タイムは物理ディスク アクセスに影響されません 読み取り要求に対しては 要求されたデータがキャッシュにある場合 ( 最近の読み取りまたは書き込み要求あるいはシーケンシャル プリフェッチのいずれかのため ) 物理ディスク アクセスを行わずに直ちに応答が返されます ディスク アクセスなしでキャッシュから応答される読み取りは リード キャッシュ ヒットと呼ばれます 要求されたデータがキャッシュにない場合 データはディスクから取得される必要があります これはリード キャッシュ ミスと呼ばれます キャッシュ ミスになった読み取り要求の I/O レスポンス タイムは ハード ディスク ドライブの性質である機械的な原因による遅延のため 長くなります したがって パフォーマンスの観点から エンタープライズ フラッシュ ドライブは キャッシュ ヒット率が低いワークロードに最適です Microsoft Exchange 環境は アプリケーション I/O プロファイルが通常小さなランダム 4K (Exchange 2003) ブロックまたは 8K(Exchange 2007) ブロックであるため 一般的に低いキャッシュ ヒット率を示します したがって エンタープライズ フラッシュ ドライブに最適な環境の 1 つと考えられます 高度なテクノロジー 6

エンタープライズ フラッシュ ドライブに最適な Exchange 環境 従来 Exchange Server 管理者は システムの目標とするレーテンシーを達成するため ハード ディスク ドライブをショート ストロークするように構成する必要がありました ショート ストロークしたハード ディスク ドライブを使用することのマイナス面は ドライブとストレージ アレイの総数が大幅に増えることです コンポーネント数の増加は 追加の初期費用と 電力 空調 およびフロア面積の需要とコストの継続的な増加を招きます エンタープライズ フラッシュ ドライブをこのような環境に導入すると パフォーマンスの向上と ストレージ ユニットの連結によるインフラストラクチャの節約が可能になります Exchange 環境でのリード / ライトのワークロードについて考察します Exchange 2003 環境では 主に (70 パーセント ) ランダム リード ワークロードが占めることになります エンタープライズ フラッシュ ドライブは それに大きく貢献します Exchange 2007 では のページ サイズ拡大や より大きなサーバ メモリ構成のサポートを含む 複数の項目で エンジンの強化が行われました これらの変更によって 一部の Exchange 2007 環境では リード / ライト比を 50 対 50 にすることが可能になっています ただし Exchange 2007 のワークロードまたはライトの比率が高いワークロード一般も エンタープライズ フラッシュ ドライブの利益を得ることができます Microsoft Exchange 環境は 通常 ストレージのパフォーマンスの観点から ユーザーあたりの IOPS の予測値に基づいてサイズが決定されます IOPS メトリックは ユーザー プロファイルとメールボックス クライアント ( キャッシュ モードの Outlook BlackBerry その他 ) および Microsoft Exchange のバージョン (Exchange 2003 または Exchange 2007) に大きく左右されます また 各ユーザー メールボックスのサイズによって 一定のドライブ数に対してワークロードを生成するために利用できるユーザーの数が制限されます 言い換えれば メールボックスのサイズが大きくなると 一定のディスク数に対してワークロードを発生させられるユーザーの数は少なくなるということです たとえば フルに使用されている 146 GB 15,000 rpm のドライブで 容量全体を使用すると 使用可能領域は約 133 GB であり 通常のレーテンシーで 180 IOPS を処理できます 1 GB のメールボックス クォータでは 133 のユーザーのワークロードの処理が可能なストレージ容量が許容されます 100 MB のメールボックス クォータでは 同じ容量で 10 倍のユーザー数が許容されます 想定されるプロファイルがユーザーあたり 1 IOPS であれば 133 個の 1 GB メールボックス (133 IOPS) は良好なパフォーマンスを示しますが 1330 個の 100 MB メールボックス (1330 IOPS) では ハード ディスク ドライブの IOPS 性能を超えてしまいます この例を拡大して 環境内での BlackBerry の多用のため プロファイルがユーザーあたり 3 IOPS と想定する場合 133 個の 1 MB メールボックスでは RAID 保護のオーバーヘッドを勘定に入れると ミラーされたペアの処理容量を超えることになります この例の計算は以下のとおりです 次のように仮定します 単独の ドライブ容量のすべてを使用する 15,000 rpm の HDD は 目標のレーテンシーで 180 のランダムな 4K IOPS を維持できます (Exchange 2007 の場合は 8K) Exchange 2003 のワークロードは リード 70% ライト 30% です Exchange 2007 のワークロードは リード 50% ライト 50% です 必要な物理ドライブの数を求める計算式は以下のとおりです (IOPS %R)+WP(IOPS %W) ドライブの IOPS = 必要なドライブ数 IOPS = 予想される 1 秒あたりの I/O 処理数 %R = IOPS のうちリードが占める比率 %W = IOPS のうちライトが占める比率 WP = RAID ライトペナルティ (RAID 1 または RAID 10 = 2 RAID 5 = 4) 高度なテクノロジー 7

以下の例では Exchange のストレージのサイズの計算に関して フルテキスト インデックス 削除済みアイテムの保存 空き容量の要件など いくつかの要素が考慮に入れられていません 以下の例は メールボックスのサイズが ( ユーザー数との組み合わせで ) 一定のワークロードをサポートするために必要なドライブ数に及ぼす影響を分かりやすくするために 単純化されています 例 1:1 GB メールボックス プロファイル ユーザーあたり 3 IOPS 使用可能領域 133 GB ユーザーあたりの使用可能領域 1 GB = ユーザー数 133 ユーザー数 133 ユーザーあたり 3 IOPS = 399 IOPS Exchange 2003 =(399 0.7)+ 2(399 0.3) 180 = 必要なドライブ数 3 = RAID 1/0 の場合のドライブ数 4 Exchange 2007 =(399 0.5)+2(399 0.5) 180 = 必要なドライブ数 4 例 2:100 MB メールボックス プロファイル ユーザーあたり 1 IOPS 使用可能領域 133 GB ユーザーあたりの使用可能領域 0.1 GB = ユーザー数 1330 ユーザー数 1330 ユーザーあたり 1 IOPS = 1330 IOPS Exchange 2003 =(1330 0.7)+ 2(1330 0.3) 180 = 必要なドライブ数 10 Exchange 2007 =(1330 0.5)+ 2(1330 0.5) 180 = 必要なドライブ数 12 例 3:100 MB メールボックス プロファイル ユーザーあたり 3 IOPS 使用可能領域 133 GB ユーザーあたりの使用可能領域 0.1 GB = ユーザー数 1330 ユーザー数 1330 ユーザーあたり 3 IOPS = 3990 IOPS Exchange 2003 =(3990 0.7)+ 2(3990 0.3) 180 = 必要なドライブ数 29 = RAID 1/0 の場合のドライブ数 30 Exchange 2007 =(3990 0.5)+ 2(3990 0.5) 180 = 必要なドライブ数 34 表 1:Exchange の I/O 要件を満たすために必要な RAID 10 ドライブ Exchange のバージョン メールボックスのサイズ / ユーザー IOPS/ ユーザー I/O に必要なドライブ (146 GB / 15,000 rpm) 2003 1 GB 3 4 2007 1 GB 3 4 2003 100 MB 1 10 2007 100 MB 1 12 2003 100 MB 3 30 2007 100 MB 3 34 メールボックスの情報密度と IOPS 要件が高まるにつれて 従来のハード ディスク ドライブはその性能の限界に追い込まれつつあり エンタープライズ フラッシュ ドライブは適性を増しつつあります Exchange の ヘビー ユーザーをフラッシュ ドライブに割り当てる ユーザーとユーザーのメールボックス アクティビティをプロファイルで分類する手法は Exchange 管理者にとって一般的です そのような分類は ユーザーのアクティビティを考慮する際に重要であり すでに説明されているように IOPS も含めて ストレージのサイズ決定に直 高度なテクノロジー 8

接的な影響を及ぼします 多くの標準ガイドラインやサイズ計算では ユーザーは ヘビー ミディアムまたはライトのように 3 つのプロファイルに分けられます さらに 一部の環境では さらにアクティビティの多いユーザーを表す 超ヘビー や BlackBerry のプロファイルを考慮する必要もあります ユーザーの数とそれぞれのプロファイルによっては 環境内のすべての Exchange にエンタープライズ フラッシュ ドライブを使用することは実用的でない場合や 不可能な場合があります そのような環境では ヘビー 超ヘビーまたは BlackBerry ユーザーのサブセットを フラッシュ ドライブ上にある特定のストレージ グループやに割り当てることができます 最もアクティブなユーザーを区別して エンタープライズ フラッシュ ドライブに割り当てることには複数の利点があります 最も大きな利点は パフォーマンスとユーザー操作性の向上であり メールボックスをエンタープライズ フラッシュ ドライブ上に割り当てることで そのユーザーはその利点を実感できます また 負荷の高いワークロードがフラッシュ ドライブではないストレージから取り除かれることは 非ヘビー ユーザーにとっても利点があります HDD からヘビー ユーザーのワークロードを取り除くことによって 残るユーザーも HDD 自体のパフォーマンスとユーザー操作性の向上を実感することになります ヘビー ユーザーを特定してエンタープライズ フラッシュ ドライブに配置または移動する方法は 環境内にストレージ層を作成する手動の処理となります ストレージ層を作成するその他の方法には EMC EmailXtender などのアーカイブ用製品の利用が考えられます EMC EmailXtender については 10 ページの 情報ライフサイクル管理のための EMC EmailXtender セクションで説明されます フラッシュ ドライブで Exchange を使用する場合の推奨事項 Exchange ログと ファイルの配置 Exchange ログのワークロードは 通常のメールボックスの処理では シーケンシャル ライト アクティビティです ライト ( 書き込み ) は CLARiX キャッシュから行われるため Exchange ログへの書き込みには 通常 フラッシュ ドライブの利点は活かされません エンタープライズ フラッシュ ドライブ スペースを適正なワークロードで最大限に活用するために Exchange ログを HDD に配置することは適切な処理です HDD にログを配置することで エンタープライズ フラッシュ ドライブの使用が最も適している Exchange ファイルにより多くの領域を使用できるようになります RAID 保護エンタープライズ フラッシュ ドライブを導入する際には ファイルを保護する機構として RAID 5 を使用することが推奨されます RAID 5 は 保護性能 コストおよびパフォーマンスのバランス的に エンタープライズ フラッシュ ドライブに最適です RAID 5 には 書き込み操作時のパリティ再計算のオーバーヘッドがありますが エンタープライズ フラッシュ ドライブの高いパフォーマンスと比較すると このペナルティは無視できます また Exchange ログのワークロードを HDD に配置する場合, ログ LUN は RAID 10 で構成することが推奨されます キャッシュ設定 CX4 のエンタープライズ フラッシュ ドライブで構成された LUN のキャッシュ設定は デフォルトで無効になっています エンタープライズ フラッシュ ドライブで構成した Exchange 高度なテクノロジー 9

環境では このモードで非常に高いパフォーマンスを示します そのため CLARiX キャッシュは その他のドライブ タイプのために確保されるべきです エンタープライズ フラッシュ ドライブと HDD の Exchange のパフォーマンスの比較 エンタープライズ フラッシュ ドライブの利点を 従来のハード ディスク ドライブとの比較で示すテストが実行されました CX4-480 において MS Exchange の推奨レーテンシー限度内で構成した 3 つの異なる設定が比較されました 平均リードレーテンシーは 20 ミリ秒未満 平均ログライトレーテンシーは 10 ミリ秒未満テスト用のワークロードは Jetstress( バージョン 08.02.0060 64 ビット用 ) を使用して生成されました また このバージョンの Jetstress と併せて Exchange 2007 SP1 ESE ライブラリが使用されました テスト 1 = 24 台のファイバ チャネル 15,000 rpm HDD(Exchange 用として 4 つの RAID 1/0 3+3 グループに分割 ) と Exchange ログ用の 4 台のファイバ ドライブ (RAID 1/0 2+2) テスト 2 = Exchange 用として RAID 5 4+1 に構成された 5 台の EFD と Exchange ログ用の 4 台のファイバ ドライブ (RAID 1/0 2+2) テスト 3 = Exchange 用として 2 つの RAID 5 4+1 グループに構成された 10 台の EFD と Exchange ログ用の 4 つのファイバ ドライブ図 4 には 各テストの IOPS パフォーマンスの結果が平均 レーテンシーと共に示されています すべてのテストでは Exchange ログがファイバ ドライブに配置され 1 ミリ秒のレーテンシーという優れた結果を示しました 図 4:HDD とエンタープライズ フラッシュ ドライブでの IOPS とレーテンシーの比較 高度なテクノロジー 10

24 ディスクの HDD 構成では 4861 IOPS が達成され パフォーマンスも良好でした ドライブあたりの I/O スループットで HDD の約 10 倍の値が達成されたことに加えて エンタープライズ フラッシュ ドライブのテストでは ホストへの読み取り応答時間も極めて短く 平均 3 ミリ秒でした エンタープライズ フラッシュ ドライブのテストでは ライト キャッシュをオフにするとのレーテンシーは確かに長くなりましたが 結果は推奨限度を充分に下回っており のライト動作も良好で ユーザーへの応答時間にはまったく影響を与えませんでした この比較では エンタープライズ フラッシュ ドライブの構成には RAID 5 が使用されましたが HDD の構成には RAID 1/0 が使用されたことにご注意ください HDD が RAID 5 で構成されていたら パフォーマンスの差 ( 応答時間や IOPS) はさらに大きくなっていた可能性があります 構成とパフォーマンスの結果に関するその他の情報については 付録の Jetstress パフォーマンス テスト レポートを参照してください エンタープライズ フラッシュ ドライブの利点の拡大 エンタープライズ フラッシュ ドライブの導入は 前の例にも見られるように Microsoft Exchange からこれまでにないパフォーマンスを引き出します 一般的に 新しく追加されたメールボックス アイテムは より頻繁にアクセスされ エンタープライズ フラッシュ ストレージに対して最も高いワークロードを生成します 古いメールボックス アイテムをよりコスト効果の高いストレージ層に移すなど アクセス頻度の低いデータの移動によって エンタープライズ フラッシュ ドライブのスペースを効率良く利用できます 以下のセクションでは Microsoft Exchange 環境で 階層化と情報ライフサイクル管理を支援するために EMC EmailXtender を使用する方法を説明します 情報ライフサイクル管理のための EMC EmailXtender EMC EmailXtender は 企業のメール環境の自動化を支援するために設計されたメール アーカイブ ソリューションです EmailXtender はストレージ管理をサポートします また コストの削減 法的証拠開示に関するリスクの軽減 および規制要件に準拠するメールの保持と廃棄ポリシーの作成も支援します EmailXtender を使用することで エンタープライズ フラッシュ ドライブ リソースを最も効率良く利用するための情報ライフサイクル管理 (ILM) 戦略を作成することができます EmailXtender の主な機能は 一意のメッセージと添付ファイルをメール サーバからコピーし EmailXtender リポジトリに保持することです このリポジトリは 情報密度が高く よりコスト効果が高いストレージに置くことができ また それによって Exchange 環境に第 2 の層が作成されます 複数のメッセージが個別に保存され メールと添付ファイルは リポジトリ内に保存されたそれらのコピーを参照するように Exchange 内でトランケートまたは ショートカット化 されます このショートカット化の機能が 古いメッセージや頻繁にアクセスされない添付ファイルに適用されると Exchange 内で領域が解放され それによってユーザー メールボックス クォータが機能的に増加します さらに エンタープライズ フラッシュ ドライブ上で利用できる領域は増加し 新しいメッセージと追加のユーザー メールボックスの保存が可能になります 高度なテクノロジー 11

図 5: 元の添付ファイルのサイズ 図 6:EmailXtender でショートカット化された添付ファイルのサイズ 図 5 と図 6 を比較すると EmailXtender の導入によって ストレージのエンタープライズ フラッシュ層内で 領域を大きく節約できることが容易に分かります EmailXtender とエンタープライズ フラッシュ ドライブを併用することによって 長期保存にはコスト効果の高いストレージ層を割り当てながら 超高性能の階層 0 を最も効率的に利用できる ILM 戦略が明らかになります 結論 CLARiX CX4 にエンタープライズ フラッシュ ドライブを組み込むことによって 非常に低いレーテンシーで非常に高い I/O パフォーマンスを達成できる 新しい階層 0 ストレージ層が実現 高度なテクノロジー 12

し Microsoft Exchange 環境でのストレージ パフォーマンスが大幅に向上します 従来の磁気ディスク ドライブ テクノロジーは もはやミッション クリティカルなストレージ環境のパフォーマンス境界には適しません 多数のディスク ドライブに負荷を分散するという 高コストなアプローチは不要になりました Exchange 環境によっては エンタープライズ フラッシュ ドライブは パフォーマンスを向上させ 消費電力 空調 およびデータ センターのフロア面積の要件を抑えることができます EMC CLARiX は エンタープライズ フラッシュ テクノロジーのパフォーマンスと電力効率を 従来のディスク ドライブ テクノロジーと 単一のソフトウェア ツールで管理される 1 つのアレイに組み合わせることで 最先端の機能と超高性能を実現し ストレージ階層オプションを拡張します さらに EMC EmailXtender を使用することで ストレージ管理はさらに最適化および自動化され 環境の効率がさらに向上します 関連資料 以下のホワイト ペーパーは EMC.com および Powerlink から入手可能です EMC CLARiiON Storage Solutions:Microsoft Exchange 2007 - Best Practices Planning Microsoft Exchange 2007 and EMC EmailXtender:Unifying the Platforms for Compliance, Storage Management, and Client Productivity EMC Symmetrix DMX-4 Enterprise Flash Drives with Microsoft Exchange Implementing EMC Symmetrix DMX-4 Flash Drives with Oracle Databases フラッシュ ドライブを使用した EMC Symmetrix DMX-4 の超高性能階層 0 高度なテクノロジー 13

付録 :Jetstress の結果 Microsoft Exchange Server Jetstress:TEST 1 の結果 28 台の HDD ドライブ :4 つの RAID 1/0 3+3 に分けられた 24 台のドライブ (DB 用 ) および 1 つの RAID 1/0 2+2( すべてのログ用 ) パフォーマンス テスト結果のレポート テスト サマリー総合テスト結果 マシン名 テストの説明 テスト開始時刻 テスト終了時刻 Pass WIN-BFZWO4Q9WRX Jetstress バージョン 08.02.0060.000 2008 年 9 月 24 日午前 1 時 58 分 17 秒 2008 年 9 月 24 日午後 12 時 10 分 43 秒 Ese バージョン 08.01.0240.005 オペレーティング Windows Server (R) 2008 Enterprise Service Pack 1 (6.0.6001.65536) システム : パフォーマンス ログ C:\Program Files\Exchange Jetstress\Performance_2008_9_24_10_4_47.blg C:\Program Files\Exchange Jetstress\DBChecksum_2008_9_24_12_10_43.blg のサイズとスループット 1 秒あたりの I/O 4861.93 容量パーセンテージ 100% スループット パーセンテージ 100% 初期 サイズ 7376925360128 最終 サイズ 7392811286528 ファイル数 16 Jetstress システム パラメータスレッド数 ログ バッファ 9000 最小 キャッシュ 512.0 MB 最大 キャッシュ 4096.0 MB 挿入操作 40% 削除操作 30% 置換操作 5% 読み取り操作 25% 低速コミット 55% 16( ストレージ グループあたり ) 高度なテクノロジー 14

ディスク サブシステム パフォーマンス 論理ディスク 平均秒数 / ディスク読み取り 平均秒数 / ディスク書き込み ディスク読み取り / 秒 ディスク書き込み / 秒 平均バイト数 / ディスク書き込み (A:) 0.015 0.002 174.110 133.056 N/A (B:) 0.014 0.002 172.756 130.344 N/A (E:) 0.015 0.002 173.121 131.141 N/A (F:) 0.014 0.002 171.194 129.510 N/A (G:) 0.015 0.002 174.793 133.140 N/A (H:) 0.014 0.002 174.143 133.116 N/A (I:) 0.015 0.002 173.093 131.718 N/A (J:) 0.015 0.002 173.098 132.561 N/A (K:) 0.015 0.002 174.020 131.841 N/A (L:) 0.015 0.002 172.267 130.357 N/A (M:) 0.014 0.002 172.439 130.423 N/A (N:) 0.015 0.002 171.099 127.695 N/A (O:) 0.014 0.002 172.438 129.424 N/A (P:) 0.015 0.002 172.241 129.928 N/A (Q:) 0.015 0.002 173.630 132.428 N/A (R:) 0.015 0.002 171.927 128.881 N/A ログ (S:) 0.000 0.001 0.000 86.843 4541.388 ログ (T:) 0.000 0.001 0.000 86.139 4496.932 ログ (U:) 0.000 0.001 0.000 87.057 4491.164 ログ (V:) 0.000 0.001 0.000 86.530 4527.673 ログ (W:) 0.000 0.001 0.000 88.347 4499.812 ログ (X:) 0.000 0.001 0.000 88.149 4525.723 ログ (Y:) 0.000 0.001 0.000 87.657 4485.828 ログ (Z:) 0.000 0.001 0.000 87.427 4530.073 ログ (C:\ ログ論理 0.000 0.001 0.000 86.974 4530.429 ドライブ 1) ログ (C:\ ログ論理 0.000 0.001 0.000 86.779 4534.687 ドライブ 2) ログ (C:\ ログ論理 0.000 0.001 0.000 86.806 4524.633 ドライブ 3) ログ (C:\ ログ論理 0.000 0.001 0.000 85.538 4467.911 ドライブ 4) ログ (C:\ ログ論理 0.000 0.001 0.000 86.385 4515.169 ドライブ 5) ログ (C:\ ログ論理ドライブ 6) 0.000 0.001 0.000 86.970 4510.505 高度なテクノロジー 15

ログ (C:\ ログ論理ドライブ 7) ログ (C:\ ログ論理ドライブ 8) 0.000 0.001 0.000 87.232 4541.267 0.000 0.001 0.000 85.891 4494.489 Microsoft Exchange Server Jetstress:TEST 2 の結果 5 台の EFD(RAID 5 4+1 Exchange 用 ) と 4 台のファイバ ドライブ (RAID 1/0 2+2 Exchange ログ用 ) パフォーマンス テスト結果レポート テスト サマリー 総合テスト結果 Pass マシン名 R1S2-HYPER1 テストの説明 テスト開始時刻 2008 年 10 月 27 日午前 1 時 19 分 16 秒 テスト終了時刻 2008 年 10 月 27 日午前 3 時 19 分 56 秒 Jetstress バージョン 08.02.0060.000 Ese バージョン 08.01.0240.005 オペレーティング Windows Server (R) 2008 Datacenter Service Pack 1 (6.0.6001.65536) システム : パフォーマンス ログ B:\JT SSD Results\2\Performance_2008_10_27_1_19_20.blg B:\JT SSD Results\2\DBChecksum_2008_10_27_3_19_56.blg のサイズとスループット 1 秒あたりのアーカイブ I/O 8772.234 容量パーセンテージ 80% スループット パーセンテージ 100% 初期 サイズ 199119896576 最終 サイズ 230489358336 ファイル数 2 Jetstress システム パラメータスレッド数 ログ バッファ 9000 最小 キャッシュ 64.0 MB 最大 キャッシュ 512.0 MB 挿入操作 40% 削除操作 30% 置換操作 5% 59( ストレージ グループあたり ) 高度なテクノロジー 16

読み取り操作 25% 低速コミット 55% ディスク サブシステム パフォーマンス 論理ドライブ 平均秒数 / ディスク読み取り 平均秒数 / ディスク書き込み (E:) (F:) ディスク読み取り / 秒 ディスク書き込み / 秒 0.003 0.007 2334.053 2051.897 N/A 0.003 0.007 2333.895 2052.389 N/A 平均バイト数 / ディスク書き込み ログ (X:) 0.000 0.001 0.000 466.839 15283.875 ログ (W:) 0.000 0.001 0.000 466.205 15253.697 Microsoft Exchange Server Jetstress:TEST 3 の結果 10 台の EFD(2 つの RAID 5 4+1 Exchange 用 ) と 4 台のファイバ ドライブ (RAID 1/0 2+2 Exchange ログ用 ) パフォーマンス テスト結果レポート テスト サマリー 総合テスト結果 Pass マシン名 R1S2-HYPER1 テストの説明 テスト開始時刻 2008 年 10 月 29 日午後 1 時 31 分 50 秒 テスト終了時刻 2008 年 10 月 29 日午後 3 時 33 分 34 秒 Jetstress バージョン 08.02.0060.000 Ese バージョン 08.01.0240.005 オペレーティング Windows Server (R) 2008 Datacenter Service Pack 1 (6.0.6001.65536) システム : パフォーマンス ログ B:\JT SSD Results\8\Performance_2008_10_29_13_32_8.blg B:\JT SSD Results\8\DBChecksum_2008_10_29_15_33_34.blg のサイズとスループット 1 秒あたりのアーカイブ I/O 14791.022 容量パーセンテージ 80% スループット パーセンテージ 100% 初期 サイズ 362877681664 最終 サイズ 410145390592 ファイル数 8 Jetstress システム パラメータ 高度なテクノロジー 17

スレッド数 ログ バッファ 9000 最小 キャッシュ 256.0 MB 最大 キャッシュ 2048.0 MB 挿入操作 40% 削除操作 30% 置換操作 5% 読み取り操作 25% 低速コミット 55% 32( ストレージ グループあたり ) ディスク サブシステム パフォーマンス 論理ディスク 平均秒数 / ディスク読み取り 平均秒数 / ディスク書き込み (E:) (F:) (G:) (H:) (I:) (J:) (K:) (L:) ディスク読み込み / 秒 ディスク書き込み / 秒 0.003 0.012 1043.227 811.621 N/A 0.003 0.012 1044.554 808.353 N/A 0.003 0.013 1047.127 817.206 N/A 0.003 0.013 1039.076 800.040 N/A 0.003 0.011 1045.804 807.550 N/A 0.003 0.011 1043.777 805.374 N/A 0.003 0.013 1039.542 801.013 N/A 0.003 0.012 1040.406 796.352 N/A 平均バイト数 / ディスク書き込み ログ (X:) 0.000 0.001 0.000 285.178 11439.545 ログ (W:) 0.000 0.001 0.000 284.270 11506.240 ログ (Z:) 0.000 0.001 0.000 284.933 11468.982 ログ (Y:) 0.000 0.001 0.000 284.464 11380.519 ログ (T:) 0.000 0.001 0.000 288.135 11336.412 ログ (S:) 0.000 0.001 0.000 286.130 11458.973 ログ (V:) 0.000 0.001 0.000 285.846 11323.405 ログ (U:) 0.000 0.001 0.000 285.518 11393.068 高度なテクノロジー 18