はじめにこの評価テストでは MRG Effitas 社と AV-Comparatives 社がそれぞれの得意分野を活かす形で共同テストを実施しましたマルウェア防御テストは AV-Comparatives 社が担当しエクスプロイトテストは MRG Effitas 社が担当していますこれらのテ

Size: px

Start display at page:

Download "はじめにこの評価テストでは MRG Effitas 社と AV-Comparatives 社がそれぞれの得意分野を活かす形で共同テストを実施しましたマルウェア防御テストは AV-Comparatives 社が担当しエクスプロイトテストは MRG Effitas 社が担当していますこれらのテ"

ああすやすこ
5 years ago
Views:

1 ウイルス対策製品の比較 Symantec Endpoint Protection 14.0 言語 : 日本語 2016 年 10 月最終改訂日 : 2016 年 12 月 2 日シマンテックの委託により実施シマンテックの委託により実施 - 1 -

2 はじめにこの評価テストでは MRG Effitas 社と AV-Comparatives 社がそれぞれの得意分野を活かす形で共同テストを実施しましたマルウェア防御テストは AV-Comparatives 社が担当しエクスプロイトテストは MRG Effitas 社が担当していますこれらのテストはシマンテックの委託を受けて実施されたものです全般悪質なソフトウェアによる脅威がかつてないほど高まっていますマルウェアプログラムの数が増えていることに加えて脅威の状況も変化が激しいからですユーザーを狙う攻撃者はマルウェアに感染した Web サイトにユーザーを誘導するためにサイバースパイランサムウェア悪質なメール添付ファイルといった手段を利用しますこのように変化の激しい脅威の状況に対応するためにはエンドポイント保護ソリューションの進化が求められます署名やヒューリスティック技術を利用した従来型のウイルス対策プログラムで十分に対応できた時代は終わっています実際エンドポイント保護は強化されており URL ブロッカーコンテンツフィルタリングレピュテーションシステムクラウドベースのツール使いやすい行動ブロッカーなどの機能が搭載されるようになりましたこうした技術がすべて連動することで脅威に対する保護は強化されますただしマルウェアがコンピュータシステムに侵入する経路はインターネットだけではないため 1 つの技術だけに頼っていては十分な保護が確保できません脅威の侵入経路となる可能性があるすべての環境を保護する必要がありますたとえば URL ブロッカーには USB フラッシュドライブやローカルエリアネットワーク経由でコンピュータに侵入するマルウェアを阻止する効果はありませんそのため本レポートでは実在の攻撃やエクスプロイトを含むインターネット経由での攻撃から他の手段で環境に侵入する攻撃までさまざまな攻撃ベクトルを対象に 7 つの製品の効果を測定しましたテストした製品本レポートでは 64 ビット版 Windows 10 を使用しシマンテックが選定した以下のバージョン / ビルドの製品をテストした結果を掲載していますベンダー製品バージョン SentinelOne Endpoint Protection Cylance CylancePROTECT 1.2 Sophos Endpoint Security and Control 10.6 Trend Micro OfficeScan 11.0 SP3 McAfee VirusScan Enterprise with epo 10.2 Microsoft Windows Defender for 4.10 Enterprise Symantec Endpoint Protection テスト時点で Symantec Endpoint Protection はベータ版でしたその後 Symantec Endpoint Protection 14 が 11 月 1 日に正式リリースされていますシマンテックの委託により実施 - 2 -

3 設定一部の製品ではテストのために設定を変更する必要がありました変更した製品とその内容は以下のとおりです SentinelOne:[Show Suspicious Activities( 不審な活動を表示 )] と [Auto Immune( 自動検疫 )] を有効にし [Actions( アクション )] を [Quarantine( 隔離 )] に設定しました概要このテストでは各製品の保護機能を評価しましたテストの実施期間は 2016 年 9 月から 10 月です実施したテストは以下のとおりですエクスプロイトテスト : エクスプロイトテストでは 21 種類のエクスプロイトを使用しました WPDT(Whole-Product-Dynamic Test): 平均的なユーザーが自宅や職場で行うネットサーフィンをシミュレートできる当社の実環境テスト用フレームワークを使用して 50 種類の悪質な Web サイトでテストを実施しました RTTL: AMTSO の RTTL(Real-Time Threat List) に登録された上位 500 種類の脅威サンプルをシステム上で実行しました AVC: 当社のデータベースに登録された上位 500 種類の最新の脅威サンプルをシステム上で実行しました FP( 誤検知 ): 1000 種類のクリーンファイルをシステム上で実行し誤った警告の数を記録しましたシマンテックの委託により実施 - 3 -

結果マルウェア防御テストマルウェア防御テストの結果は以下の図のとおりです誤検知 ( 対数スケール ) WPDT RTTL AVC FP SentinelOne 94% 99.8% 72.8% 0.5% Cylance 98% 100% 99.8% 20.6% Sophos 100% 97.9% 99.2% 1.3% Trend Micro 100% 100% 100% 22.

4 結果マルウェア防御テストマルウェア防御テストの結果は以下の図のとおりです誤検知 ( 対数スケール ) WPDT RTTL AVC FP SentinelOne 94% 99.8% 72.8% 0.5% Cylance 98% 100% 99.8% 20.6% Sophos 100% 97.9% 99.2% 1.3% Trend Micro 100% 100% 100% 22.9% McAfee 100% 100% 97.0% 0.0% Microsoft 97% 100% 100% 0.2% Symantec 100% 100% 99.4% 1.5% マルウェア対策の有効性は単にどのベンダーの製品が最も多く防御に成功したかのみで決まるものではありません保護の有効性精度 ( 誤検知率 ) パフォーマンスという 3 つの要素のバランスが成立しているかを考える必要があります Symantec Endpoint Protection 14.0 はこのテストにおいて高い効果と低い誤検知率のバランスが最もよく取れていましたこのため誤検知による運用コストの増加を防ぎながらマルウェアを強力に阻止できますシマンテックの委託により実施 - 4 -

エクスプロイト防御テスト保護検出 SentinelOne 23% 62% Cylance 57% 71% Sophos 71% 71% Trend Micro 76% 81% McAfee 75% 86% Microsoft 79% 86% Symantec 100% 100% 保護 ( システムが保護された ) 検出 ( システムは侵害を受けたがマルウェアは検出された )

5 エクスプロイト防御テスト保護検出 SentinelOne 23% 62% Cylance 57% 71% Sophos 71% 71% Trend Micro 76% 81% McAfee 75% 86% Microsoft 79% 86% Symantec 100% 100% 保護 ( システムが保護された ) 検出 ( システムは侵害を受けたがマルウェアは検出された ) エクスプロイト防御テストの対象製品のうち保護と検出の両方で 100% のスコアを獲得したのは Symantec Endpoint Protection 14 のみでした攻撃者は広く普及しているソフトウェアの脆弱性をすばやく悪用し標的企業に侵入するための足場を作りますしかし企業がパッチを入手して適用するまでに 1 カ月かかることもありますそのため企業は相当に長い間攻撃に対して脆弱な状態で放置される恐れがありますゼロデイ攻撃をブロックできる能力はエンドポイントのセキュリティにとって重要なだけでなく企業の全体的なセキュリティ体制にとってきわめて重要ですこのテストでは広く普及している複数のエクスプロイトキットとして Sundown Neutrino Metasploit などを利用しましたまた Adobe Flash Internet Explorer Microsoft Office のマクロ Silverlight Firefox Java を標的とするエクスプロイトを利用しましたシマンテックの委託により実施 - 5 -

6 結果のスコア / 計算エクスプロイト防御 / 検出結果のスコア付けこのテストではエンドポイント保護システムでエクスプロイトを防御できるステージを以下のように定義しました 1. ローカルまたはクラウドの URL データベースによる URL のブロック対象は感染した URL エクスプロイトキットの URL リダイレクトの URL マルウェアの URL エンドポイント保護による正常な結果はサイトがブロックされていますというメッセージがブラウザに表示されるというものですエクスプロイトチェーンの早い段階で脅威が検出されるほど悪質なファイルをシステムから除去するのは簡単になりますまた攻撃者がシステムから収集できる情報は少なくなるとともに特定のセキュリティソリューションを狙った攻撃がエンドポイントで発生するリスクは小さくなります 2. 悪質な HTML コード JavaScript( リダイレクト iframe 偽装した JavaScript など ) または Flash ファイルを含むページの分析とブロック 3. シェルコードが実行される前にエクスプロイトをブロック 4. マルウェアのプロセスが開始される前に分析を行うことでダウンロードされたペイロードをブロックたとえばプロキシのトラフィックでマルウェアペイロードのダウンロード ( 平文のバイナリまたは暗号化 / エンコードされたバイナリ ) が確認された時点ではマルウェアのプロセスは開始されていません 5. マルウェアの実行を阻止 ( プロセスの作成とライブラリのロードを阻止 ) 6. 投下されたマルウェアがプロセスの開始に成功 7. 投下されたマルウェアがプロセスの開始に成功したものの最終的にはすべての投下マルウェアが強制終了されて削除 ( マルウェアが開始されたがその後ブロックされた ) 保護スコアは以下のように計算しました悪質で信頼できないコードがエンドポイントで実行されるのを阻止した製品には 5 ポイントを付与このポイントを得るには上記のステージのいずれかでエクスプロイトを阻止する必要があります悪質で信頼できないコードがエンドポイントで実行されるのを許したものの ( エクスプロイトシェルコードダウンローダコード ) 最終的なマルウェアの実行を阻止した製品には 4 ポイントを付与このポイントを得るには上記のステージ 4 または 5 でエクスプロイトを阻止する必要がありますエクスプロイトシェルコード ( またはダウンローダコード ) と最終的なマルウェアの両方がエンドポイントで実行されるのを許した製品にはポイントを付与しないシマンテックの委託により実施 - 6 -

7 検出スコアは以下のように計算しました感染ステージのいずれかで中レベルまたは高レベルの警告を生成した製品には 1 ポイントを付与 ( 感染が阻止されなかった場合でも付与 ) このようなスコア付けを採用した理由は以下のとおりですテストの対象はエクスプロイトの阻止でありシステム上で実行されているマルウェアの検出ではありませんマルウェアが実行したコマンドの詳細や盗み出された情報の内容は確認できませんデータ漏えい前の状態に戻したり修復したりすることは不可能ですマルウェアが終了した理由は特定できませんエンドポイント保護システムにブロックされたためなのか監視プロセスや仮想環境を検出したためなのか標的の環境が見当たらなかったためなのかは確認できませんエンタープライズ環境ではマルウェア修復の確認に時間がかかりすぎたり修復スコアの判定が難しすぎたりする可能性がありますたとえば近年ではエンドポイント保護システムによって URL/ ページ / エクスプロイト / マルウェアがブロックされたことを示す警告が生成された後もそのマルウェアがシステム上で実行可能な状態だったというケースが複数確認されていますその他にもエンドポイント保護システムによってマルウェアのコードがディスクから削除されたにもかかわらずそのマルウェアのプロセスが実行されているケースやマルウェアの一部は除去されたものの他の部分は残っているケースが見られます複雑なエンタープライズ環境では複数のネットワーク製品やエンドポイント製品がエンドポイントを保護していますあるネットワーク製品からエンドポイントに悪質なバイナリがダウンロードされたという警告が出されてもすぐには判断を下せません管理者は複数のエンドポイント保護製品の警告を相互にチェックしたり詳細なフォレンジック調査を行ったりしない限りマルウェアがエンドポイントで実行されていないという確証は得られません通常このような作業には多大の時間とリソースを要するためシェルコードが開始される前にエクスプロイトをブロックしたほうが効果的です通常エクスプロイトのシェルコードは新種のマルウェアをダウンロードして実行するという単純な動作しか行いませんしかし標的型攻撃の場合エクスプロイトのシェルコードはさらに複雑な動作を行う可能性がありますこのような厳格なスコア付けを行うことで企業はシンプルな指標を使って最適な製品を選択できるようになりますエンタープライズ環境でマルウェア修復に成功したかどうかを手動で確認するには膨大なリソースが必要になり多くのコストがかかりますマルウェアを実行前にブロックしエクスプロイトシェルコードの実行を阻止することが必要だと当社では考えていますシマンテックの委託により実施 - 7 -

8 テストの手順 / 方法エクスプロイトテストのセットアップ各テストケースのテストサイクル 1) 64 ビット版 Windows 10 をデフォルト設定でインストールした仮想マシン (VirtualBox) のエンドポイントを 1 台用意デフォルトの HTTP/HTTPS プロキシは異なるマシンで実行されているプロキシを利用するように設定しました SSL/TLS トラフィックがこのプロキシで傍受されないようにしました 2) OS のセキュリティを弱体化するために以下の設定を行いました a) Microsoft Defender を無効にする b) Internet Explorer の SmartScreen を無効にする c) 脆弱性があるソフトウェアをインストールする ( 詳細は Software Installed を参照 ) d) Windows Update を無効にする 3) この時点からさまざまなスナップショットを作成しましたスナップショットごとに異なるエンドポイント保護製品を利用し 1 つのスナップショットではエンドポイント保護製品を利用しませんでしたこれによりすべてのテストシステムの元となるシステムは完全に同一ということになります以下のエンドポイントセキュリティスイートを次の設定でこのテスト用に定義しました a) 追加の保護設定なし ( このスナップショットは OS がエクスプロイトに感染しエクスプロイトのリプレイを確認するために使用 ) b) 製品 1 をインストール c) 製品 2 をインストール d) エンドポイントシステムはデフォルト設定でインストールし不要と思われるソフトウェアを削除する機能を有効にしましたまたクラウド / コミュニティに参加するオプションがインストール時に選択できる場合には有効にしました 4) エクスプロイトのソースは 2 つのカテゴリに分類できます実際の脅威と Metasploit です VBscript ベースのダウンローダとマクロが含まれた Office ドキュメントは他のテストシナリオに含まれていないことが多いためこれらに関連する脅威もテスト対象に含めました 5) 仮想マシンをクリーンな状態に戻しトラフィックをプロキシサーバーでリプレイしましたこのリプレイでは従来どおりブラウザを使用しましたただし元の Web サーバーではなくプロキシサーバーが記録されたトラフィックに基づいて要求に応答しましたリプレイされたエクスプロイトが OS への感染に成功した場合そのエクスプロイトのトラフィックをテスト用のソースとして記録しましたこの方法により元のエクスプロイトキットがテスト中に動作しなくなった場合でも各エンドポイント保護システムが完全に同一のトラフィックを確認できるようにしましたこのようなエクスプロイトのリプレイは tcpreplay のようなリプレイとは異なるので混同しないようにご注意くださいシマンテックの委託により実施 - 8 -

9 6) 新しいエクスプロイトのトラフィックが承認された後にエンドポイント保護システムをテストしましたエクスプロイトサイトのテスト前にはエンドポイント保護が最新のシグネチャで最新のバージョンに更新されていることとすべてのクラウド接続が正常に動作していることを確認しましたシステムの再起動が必要な場合には実行しましたプロキシの設定により一致しない要求の配信が許可され SSL/TLS が復号されずにウイルス対策製品を接続できるようにしましたテスト中には VPN をホストマシン上で使用しましたエンドポイント保護でユーザーの操作が求められた場合 ( サイトへのアクセスが推奨されていないなど ) はブロック / 拒否動作を選択しました Windows でユーザーの操作が求められた場合は実行 / 許可オプションを選択しました SysInternals の Process Monitor/Process Explorer と Wireshark( どちらもデフォルト以外のディレクトリにインストール ) を除き他のプロセスがシステム上で実行されないようにしました 7) エクスプロイトサイトに移動後システムを監視し新しいプロセスロードされた DDL C&C トラフィックが存在しないかをチェックしました 8) 手順 5 に戻りすべてのエクスプロイトサイトのテストケースが終了するまで作業を続けました仮想マシンのハードウェアの仕様は以下のとおりです 4 GB RAM メモリ 2 基のプロセッサ (AMD FX 8370E CPU) 65 GB の空き容量 1 基のネットワークインターフェース SSD ドライブエクスプロイトテスト用の VirtualBox のホストシステムとゲストシステムを強化し一般的な仮想マシン検出技術やサンドボックス検出技術でこのシステムが分析システムとして検出されないようにしましたシマンテックの委託により実施 - 9 -

10 エクスプロイトテストで使用したエクスプロイトキットの分析テスト対象の OS 設定でテストを実行中に新しく公表されたエクスプロイトの数はそれほど多くありませんでしたこのテストでは Metasploit キットと Neutrino キットを使用してエクスプロイトに対する効果をエンドポイントソリューション間で比較することにしましたまた Office のマクロや WSF ダウンローダなど PE 形式以外のダウンローダである 2 種類の特定のサンプルを使用しましたこのテストではあえてこれら異種のファイルタイプを追加していますそのようなファイルは実際の環境で広く使用されているにもかかわらず実環境テストで除外されることが多いためです合計で 21 のテストケースが実行されました 8 種類の Sundown エクスプロイトキット 5 種類の Neutrino エクスプロイトキット 4 種類の Metasploit 1 種類の Powershell Empire 1 種類の Metasploit マクロ 1 種類の Locky スパム WSF 1 種類の未知のエクスプロイトキットこれらのエクスプロイトキットは Adobe Flash Internet Explorer Microsoft Office( マクロ ) Silverlight Firefox Java を標的としていましたインストールしたソフトウェアこのエクスプロイトテストでは脆弱性がある以下のソフトウェアをインストールしましたベンダー製品バージョンベンダー製品バージョン Adobe Flash Player Microsoft Silverlight ActiveX - 内蔵型 AutoIT AutoIT Mozilla Firefox 31.0 Microsoft Internet Explorer Oracle Java Microsoft Office 2016 マルウェア防御結果のスコア付けマルウェア防御のスコア付けはシンプルな方法で行いましたシステムがマルウェアに侵害された製品にはポイントを付与しないマルウェアがブロックまたは修復された製品には 1 ポイントを付与ユーザーに選択を促すポップアップが表示された製品には 0.5 ポイントを付与誤検知テスト誤った警告が出されるかをチェックするテストでは上記と同じスコア付けの原則を適用しました悪質ではないアプリケーションを 1000 種類使用しましたシマンテックの委託により実施

11 著作権と免責事項本書の著作権は AV-Comparatives 社と MRG Effitas 社に帰属します (Copyright 2016 by AV-Comparatives / MRG Effitas ) テスト結果の利用は全部か一部かを問わず AV- Comparatives 社と MRG Effitas 社の取締役会の書面による明示的な同意を事前に得た場合にのみ許可されます AV-Comparatives 社と MRG Effitas 社およびテスト実施者は本書に記載された情報の使用の結果または使用に関連して発生する可能性のあるいかなる損害または損失に対しても責任を負わないものとします基本的なデータの正確性には万全を期しておりますが AV-Comparatives 社と MRG Effitas 社の代表はテスト結果の正確性に対していかなる責任も負いません記載された情報 / 内容の正確性完全性または特定の目的に対する有用性についていかなる場合にも保証いたしませんテスト結果の作成算出または配布に関与した他のすべての個人および組織は間接的特別もしくは派生的な損害または Web サイトテスト書類もしくはあらゆる関連データによって提供されたサービスの使用 ( または使用不能 ) によって生じる利益の損失について一切の責任を負わないものとします AV-Comparatives 社 MRG Effitas 社テストの方法について詳しくは当社の Web サイトを参照してください AV-Comparatives 社 /MRG Effitas 社 (2016 年 12 月 ) シマンテックの委託により実施

KSforWindowsServerのご紹介

KSforWindowsServerのご紹介 Kaspersky Security for Windows Server のご紹介ランサムウェアに対抗するアンチクリプターを搭載株式会社カスペルスキー製品本部目次 1. サーバーセキュリティがなぜ重要か? 2. Kaspesky Security for Windows Server の概要 Kaspersky Security for Windows Server の特長導入の効果