Become a Sumo Power Admin

Size: px

Start display at page:

Download "Become a Sumo Power Admin"

えりかかくはり
5 years ago
Views:

1 Sumo Power 管理者認定を目指すレベル 3 認定

2 Sumo Power 管理者認定を目指す環境に最適なデータ収集戦略を導入するデータ収集に関するベストプラクティスを導入するメタデータの堅牢な名前付け規則を構築する検索とダッシュボードを作成共有推奨する検索のパフォーマンスを強化する最適化ツールの活用方法を習得する

3 データフローの概要

4 Sumo Logic のデータフローデータ収集検索と分析視覚化とモニタリングコレクタオペレータアラートソースグラフダッシュボード

5 データ収集戦略

6 あらゆる場所にあるエンタープライズログコンテンツ配信 IaaS PaaS SaaS セキュリティカスタムアプリケーションコードオープンソースミドルウェアデータベースサーバ /OS 仮想化ネットワーク

配置方法の設計インストール型コレクタホスト型コレクタ HTTPS エンドポイント Sumo Logic のデータローカルファイルとホストメトリクス収集には非常に高い柔軟性があります SKD を HTTPS エンドポイントにログ HTTPS エンドポイントイベントハブネットワークウォッチャーモニター組織に適した Sumo コンテナ Logic の配置を設計で

7 配置方法の設計インストール型コレクタホスト型コレクタ HTTPS エンドポイント Sumo Logic のデータローカルファイルとホストメトリクス収集には非常に高い柔軟性があります SKD を HTTPS エンドポイントにログ HTTPS エンドポイントイベントハブネットワークウォッチャーモニター組織に適した Sumo コンテナ Logic の配置を設計できます Docker ログドライバ Docker コレクターコンテナ Docker ホスト上のコレクタクライアント側ソフトウェアリモートファイル Kubernetes Fluentd プラグインインストール型とホスト Kubernetes デーモンセットとして実行型のコレクタ関連情報 : Set Up Sumo Logic (Sumo Logic のセットアップ )

8 コレクタと配置オプションホスト型コレクタインストール型コレクタ集中型データコレクションローカルのデータ収集 = コレクタ

9 コレクタの考慮事項次の場合には 1 つのインストール型コレクタを専用コンピュータに配置することを検討してください高帯域幅のネットワークを上位のログレベルを使用して稼働している場合多数のソースに対して集中型のコレクションポイントを使用する場合次の場合には複数のインストール型コレクタを配置することを検討してください 1 つのコレクタで収集するファイルの合計数が 500 を超えることが予想される場合ハードウェアにメモリまたは CPU の制約がある場合 1 つのコレクタへのログ記録トラフィックを合計すると 1 秒あたり 15,000 イベントを超えることが予想される場合ネットワーククラスタまたはリージョンが地理的に離れている場合多数のコレクタをインストールする場合 ( たとえばローカルファイルを収集するために各マシンにインストールする ) システムの要件の詳細についてはインストール型コレクタの要件を参照してください

ローカルのデータ収集 Sumo Logic コレクターをすべてのターゲットホストにインストールし可能であればそのホストで生成されたログデータを https 接続を介して直接 Sumo Logic バックエンドに送信しますソースのタイプローカルファイルオペレーティングシステムミドルウェアカスタムアプリケーションなど Windows イベントローカルの Windows イベント

10 ローカルのデータ収集 Sumo Logic コレクターをすべてのターゲットホストにインストールし可能であればそのホストで生成されたログデータを https 接続を介して直接 Sumo Logic バックエンドに送信しますソースのタイプローカルファイルオペレーティングシステムミドルウェアカスタムアプリケーションなど Windows イベントローカルの Windows イベント Docker ログと統計情報 Syslog ( 専用のコレクタ ) ネットワークデバイス Snare などスクリプト ( 専用のコレクタ ) クラウド API データベースコンテンツバイナリデータメリットとデメリット + ハードウェアの要件なし + 自動化 (Chef/Puppet/ スクリプト ) - 送信のインターネットアクセスが必要 - ターゲットのリソースの使用一般的なシナリオ多数の ( 類似する ) サーバを所有する顧客でオーケストレーション / 自動化を使用しほとんどのログが OS およびアプリケーションログである - オンプレミスデータセンター - クラウドインスタンス

集中型のデータ収集 Sumo Logic コレクタを一連の専用のコンピュータにインストールしそれらのコンピュータでさまざまなリモートメカニズムを介してターゲットホストからログデータを収集しデータを Sumo Logic バックエンドに転送しますこれは Sumo Logic syslog ソースの使用か Syslog サーバ (syslog-ng rsyslog)

11 集中型のデータ収集 Sumo Logic コレクタを一連の専用のコンピュータにインストールしそれらのコンピュータでさまざまなリモートメカニズムを介してターゲットホストからログデータを収集しデータを Sumo Logic バックエンドに転送しますこれは Sumo Logic syslog ソースの使用か Syslog サーバ (syslog-ng rsyslog) の実行のいずれかによって実現しファイルへの書き込みおよびファイルからの収集を行いますソースのタイプ Syslog オペレーティングシステムミドルウェアカスタムアプリケーションなど Windows イベントリモートの Windows イベントスクリプトクラウド API データベースコンテンツバイナリデータメリットとデメリット + 送信のインターネットアクセスが不要 + 既存のログ取得インフラストラクチャの利用 - 規模が大きくなる - 専用ハードウェア - 複雑 ( フェイルオーバー syslog の規則 ) 一般的なシナリオ顧客はほとんどが Windows 環境と既存のログ取得インフラストラクチャ (syslog/logstash) を使用 - オンプレミスデータセンター

クラウド型のデータ収集ほどんどのデータはクラウドサービスによってクラウド内に生成され Sumo Logic のクラウド統合を介して収集されますソースのタイプ S3 バケットあらゆるデータを S3 バケットに書き込みます (AWS 監査その他 ) HTTPS Lambda スクリプト Akamai OneLogin ログアペンダライブラリなど

12 クラウド型のデータ収集ほどんどのデータはクラウドサービスによってクラウド内に生成され Sumo Logic のクラウド統合を介して収集されますソースのタイプ S3 バケットあらゆるデータを S3 バケットに書き込みます (AWS 監査その他 ) HTTPS Lambda スクリプト Akamai OneLogin ログアペンダライブラリなど Google/O365 Google API および O365 メリットとデメリット + ソフトウェアのインストール不要 - S3 のレイテンシの問題 - Https ポストキャッシュの必要性一般的なシナリオ顧客がクラウドインフラストラクチャを使用クラウドのデータ収集にすべて依存する場合もあるが一般的ではないこれらのソースのタイプは通常全体的な収集方法の一部分に過ぎない

13 メタデータの設計

14 メタデータとはメタデータタグは収集される各ログメッセージと関連付けられています値はコレクターとソースの構成によって設定しますタグ説明 _collector コレクタの名前 ( デフォルトはホスト名 ) _sourcehost サーバのホスト名 ( デフォルトはホスト名 ) _sourcename _source _sourcecategory ログファイルの名前とパスこのデータが収集されたソースの名前任意に構成可能なメインのメタデータタグ

15 ソースカテゴリのベストプラクティスソースカテゴリの推奨される名前付け方法 Component1/Component2/Component3... 具体性の低いものから高いものへ Prod/MyApp1/Apache/Access Prod/MyApp1/Apache/Error Prod/MyApp1/CloudTrail Prod/MyApp2/Nginx/Access Prod/MyApp2/Tomcat/Access Prod/MyApp2/Tomcat/Catalina/Out Prod/MyApp2/MySQL/SlowQueries Dev/MyApp1/Apache/Access Dev/MyApp1/Apache/Error Dev/MyApp1/CloudTrail Dev/MyApp2/Nginx/Access Dev/MyApp2/Tomcat/Access Dev/MyApp2/Tomcat/Catalina/Out Dev/MyApp2/MySQL/SlowQueries 注意 : すべてのログのタイプに同じ数のレベルを与える必要はありません Best Practices: Good Source Category, Bad Source Category ( ベストプラクティス : 適切なソースカテゴリと不適切なソースカテゴリ )

16 メタデータ : ソースカテゴリのベストプラクティスとメリットシンプルな検索のスコープ指定 _sourcecategory=prod/myapp1/apache* (Prod のすべての Apache ログ ) _sourcecategory=*/myapp1/apache* ( すべての環境のすべての Apache ログ ) 簡単かつ直感的で自主的な管理が可能なパーティション / インデックス _sourcecategory=prod/myapp1* _sourcecategory=prod/myapp2* 注意 : すべてのログのタイプに同じ数のレベルを与える必要はありません簡単で自主的な管理が可能な RBAC ロール _sourcecategory=prod/myapp1*

17 メタデータ : ソースカテゴリのベストプラクティスとメリット一般的な要素 ( さらにそれらの組み合わせ ): 環境 (Prod/UAT/DEV) アプリケーション名地理的情報 ( 東と西のデータセンター事務所の場所など ) AWS のリージョン事業単位最上位の要素では最も多く一緒に検索されるデータをグループにまとめる Prod/Web/Apache/Access Dev/Web/Apache/Access Prod/DB/MySQL/Error Dev/DB/MySQL/Error Web/Apache/Access/Prod Web/Apache/Access/Dev DB/MySQL/Error/Prod DB/MySQL/Error/Dev

18 メトリクスの取得ホストメトリクス AWS メトリクス Graphite 互換 CollectD AWS ECS AWS CloudWatch メトリクス Dropwizard StatsD 関連情報 : ホストメトリクスのセットアップ関連情報 : AWS メトリクスのセットアップ関連情報 : Graphite メトリクスのセットアップ

19 Sumo Logic へのメトリクスの送信カスタムコード = コレクタメトリクスライブラリ StatsD StatsD サーバ Graphite 1.Graphite CollectD 2. ホストメトリクスサーバ / デバイス / コンテナ 3. OS/ コンテナ

20 コンテンツ共有

21 検索とダッシュボードの共有と推奨ユーザに有用なコンテンツを共有したり推奨したりすることでユーザがコンテンツを使用できるようにしますコンテンツの共有表示編集管理の権限の付与管理者の推奨コンテンツへの注目を集める

22 最適化ツール

23 パーティションデータのサブセットについてのインデックスデータをより小さな論理的なまとまりに分離します分離されたデータはほとんどの場合他のパーティションとは切り離して検索されますベストプラクティス重複させないこと 20 パーティションよりも少なくする全体の 1% ~ 30% が理想的最も多く一緒に検索されるデータをグループにまとめる例 _sourcecategory=prod/myapp1* _sourcecategory=prod/myapp2* または _sourcecategory=prod/* _sourcecategory=dev/*

24 Field Extraction Rules ( フィールド抽出ルール ) 検索時ではなく取り込み時にデータセットのパースロジックを適用しますメリットパフォーマンスの向上フィールド名の標準化検索の簡素化ベストプラクティス単純で明確なルールを作成するパースとその他の操作を徹底的にテストする ( テストには nodrop と isempty を使用 ) 制限事項 200 フィールドあたり 50 ルール ( まもなく撤廃 ) 一部のオペレータは未サポート

25 スケジュールビューリレーションデータベースのマテリアライズドビューに似たデータのサブセットのコピーユースケース事前集計データ ( 長期的な傾向の場合など ) 干し草の山の中から針を見つけるベストプラクティス 1:10,000 以上の選択性を推奨動作のしくみビューはサービスによって 1 分ごとに 1 回更新される埋め戻しが可能 _View=[viewname] を使用したビューの検索データは取得量にカウントされない

26 レビュー : 検索の最適化ツール目的の動作パーティションスケジュールビューフィールド抽出特定のデータの集合に対するクエリの実行データの量が 1 ~ 30% の場合に選択分離するデータの量が 1% 未満の場合に選択頻繁に検索するフィールドを事前抽出する場合に選択ログからフィールドを抽出しすべてのユーザが利用できるようするデータを使用した長期的な傾向の特定メタデータによるデータの分離クエリに対応可能なデータの事前計算または集計 RBAC を使用したデータへのアクセス権の拒否または付与

27 まとめ : Sumo Power 管理者ができることあらゆる種類のログ ( 構造化ログと非構造化ログ ) の取得ソースに最適な配置オプションの選択メタデータの堅牢な名前付け規則の構築ユーザに有用なコンテンツの共有と推奨の開始最適化ツールの利用必要な作業 : 環境に最適な配置オプションまたは ( ハイブリッドオプション ) をセットアップする堅牢な _SourceCategory の名前付けルールを制定する最低でもよく使用されるデータソースへの Field Extraction Rules をセットアップする

28 質問

29 試験のクレジットを取得するには自身のインスタンスで [Certification ( 認定 )] タブに移動しますオンライン試験 30 問の選択式問題制限時間 60 分 3 回まで受験可能

30 今のビジネスを支える人々に力を

Oracle Un お問合せ : Oracle Data Integrator 11g: データ統合設定と管理期間 ( 標準日数 ):5 コースの概要 Oracle Data Integratorはすべてのデータ統合要件 ( 大量の高パフォーマンスバッチローブンの統合プロセスおよ

Oracle Un お問合せ : Oracle Data Integrator 11g: データ統合設定と管理期間 ( 標準日数 ):5 コースの概要 Oracle Data Integratorはすべてのデータ統合要件 ( 大量の高パフォーマンスバッチローブンの統合プロセスおよ Oracle Un お問合せ : 0120- Oracle Data Integrator 11g: データ統合設定と管理期間 ( 標準日数 ):5 コースの概要 Oracle Data Integratorはすべてのデータ統合要件 ( 大量の高パフォーマンスバッチローブンの統合プロセスおよびSOA 対応データサービスへ ) を網羅する総合的なデータ統合プラットフォームです Oracle