CDNext ガイドライン：アクセスログ提供機能について

Size: px

Start display at page:

Download "CDNext ガイドライン：アクセスログ提供機能について"

あゆみまつかた
5 years ago
Views:

1 アクセスログ提供機能について Ver

1. アクセスログ提供機能について本ガイドラインでは CDNext のアクセスログ提供機能について説明しますまたアクセスログの収集

サーバーからアクセスログファイルを取得できるようになります Step2 アクセスログの取得 J ストリーム FTP サーバーエンドユーザー J

ログ取得用 FTPユーザー設定を行います詳細は CDNext 利用マニュアル内 [3-8 アクセスログ提供機能 ] をご参照ください Step2

2 1. アクセスログ提供機能について本ガイドラインでは CDNext のアクセスログ提供機能について説明しますまたアクセスログの収集結合を行うシェルスクリプトのサンプルも記載しておりますのでご活用くださいはじめに CDNext 管理画面からアクセスログ出力設定を行うと FTP サーバーからアクセスログファイルを取得できるようになります Step2 アクセスログの取得 J ストリーム FTP サーバーエンドユーザー J ストリーム CDNext Step1 アクセスログ出力設定 Step1 CDNext: アクセスログ出力設定該当 CDNホストのアクセスログ出力設定ログ取得用 FTPユーザー設定を行います詳細は CDNext 利用マニュアル内 [3-8 アクセスログ提供機能 ] をご参照ください Step2 FTPサーバー : アクセスログの取得ログ取得用 FTPユーザーで FTPサーバーにログインしアクセスログを取得しますここでは FTP サーバーから取得できるアクセスログについて説明します P1

3 1-1 ログ取得用 FTP サーバー情報接続情報ログ取得用 FTP サーバーには FTP/FTPS/SFTP で接続することができますそれぞれのプロトコルの仕様は以下の通りです No プロトコル説明 1 2 FTP (File Transfer Protocol) FTPS (File Transfer Protocol over SSL/TLS) ファイル転送を行うプロトコルです TCP 21 番ポートに接続してください FFFTP WinSCP などで利用可能です FTP を SSL または TLS で暗号化するプロトコルです TCP 21 番ポートに接続してください FFFTP WinSCP などで利用可能です 3 SFTP (SSH File Transfer Protocol) SSH を用いてファイル転送を行うプロトコルです TCP 2122 番ポートに接続してください管理画面より公開鍵を登録することで鍵交換による利用が可能です WinSCP Linux Unix コマンドなどで利用可能ですログイン情報アクセスログを取得するためには FTP サーバーへのログインが必要ですログインに必要な情報は以下の通りです No 項目値 1 ホスト名 ( 必須 ) cdnext-log-store.stream.co.jp 2 ユーザー名 ( 必須 ) ログ取得用 FTP ユーザー管理で設定したユーザー ID を指定します 3 パスワードログ取得用 FTP ユーザー管理で設定したパスワードを指定しますパスワードを使用しない場合秘密鍵の設定が必要です 4 秘密鍵ログ取得用 FTP ユーザー管理で設定した SFTP 公開鍵のペアとなる秘密鍵を指定します FTP サーバーにはログ取得用 FTP ユーザー管理で設定したアクセス許可 IP リストのネットワークに接続している端末からのみアクセスすることができます P2

4 ディレクトリ構造アクセスログは VHOST ID ごと (= CDN ホストごと ) 日時ごとアクセスログフォーマットごとに出力されます以下は FTP サーバーのディレクトリ構造を簡単に表した図です /( アカウントディレクトリ ) any/ <%VHOST ID%>/ file_list/ <% 日付 %>_<% ファイルリスト %>_<% フォーマット %>.txt <% 日付 %>/ <% 時 %>/ <%VHOST ID%>_<% 日付 %><% 時 %>_<%N%>_<% フォーマット %>-<%M%>.log.gz 凡例 No 文字列意味 1 <%VHOST ID%> 2 <% ファイルリスト %> 3 <% 日付 %> 4 <% 時 %> 5 <% フォーマット %> 6 <%N%> <%M%> CDN ホストの設定画面 FQDN タブ内の CNAME 情報項目に表示される 32 桁の文字列です CDN ホスト 1 つにつき 1 つの VHOST ID があります例 ) abcdef abcdef ファイルリストです例 ) _file_list_ltsv.txt アクセスログ出力処理が行われた 8 桁の日付です例 ) アクセスログ出力処理が行われた 2 桁の時間です例 )22 アクセスログのフォーマットです ltsv combined legacy のいずれかになりますアクセスログ出力処理の際アクセス状況設備状況に応じて付与される 3 桁の数字です例 )012 次ページよりファイルリストアクセスログについて説明します P3

5 1-2 ファイルリストファイルリストとはファイルリストとは VHOST ID ディレクトリ配下のアクセスログのファイル一覧が記載されたテキストファイルですアクセスログはアクセス負荷や障害等により出力遅延削除リカバリが発生する場合がありますファイルリストにはアクセスログの出力削除リカバリについて記載されており VHOST ID ごと (= CDN ホストごと ) 日ごとアクセスログフォーマットごとに出力されますアクセスログ収集バッチ作成時等にご活用くださいファイルリストの種類下記 3 種類があります記載内容の項目をタブ区切りしたデータが 1 レコードとなりますレコードの区切りは改行 (LF) です No 種類出力記載内容例 1 設置ファイルリストアクセスログと一緒に必ず出力アクセスログのパス設置日時 _file_list_ltsv.txt 2 削除ファイルリスト弊社で削除作業実施時に出力アクセスログのパス削除日時 _file_list_delete_ltsv.txt 3 リカバリファイルリスト弊社でリカバリ作業実施時に出力アクセスログのパス再生成日時 _file_list_recovery_ltsv.txt ファイルリスト例例 ) _file_list_ltsv.txt ( 省略 ) /22/ abcdef abcdef_ _001_ltsv-012.log.gz 2017/02/17 00:01: /22/ abcdef abcdef_ _001_ltsv-013.log.gz 2017/02/17 00:01: /22/ abcdef abcdef_ _001_ltsv-014.log.gz 2017/02/17 00:01: /22/ abcdef abcdef_ _001_ltsv-015.log.gz 2017/02/17 00:01: /22/ abcdef abcdef_ _001_ltsv-016.log.gz 2017/02/17 00:01: /22/ abcdef abcdef_ _001_ltsv-017.log.gz 2017/02/17 00:01: /22/ abcdef abcdef_ _001_ltsv-018.log.gz 2017/02/17 00:01: /22/ abcdef abcdef_ _001_ltsv-019.log.gz 2017/02/17 00:01: /22/ abcdef abcdef_ _001_ltsv-020.log.gz 2017/02/17 00:01: /22/ abcdef abcdef_ _001_ltsv-021.log.gz 2017/02/17 00:01:12 ( 省略 ) ファイルリストの活用方法例ファイルリストを参照いただくと柔軟なアクセスログ収集が可能となりますぜひご活用ください No アクセスログの収集運用活用方法例 1 翌日午後 12 時 (= 確定出力時刻 ) 以降に前日分のアクセスログを収集する場合ファイルリストを参照せずにアクセスログを収集 2 毎時アクセスログを収集する場合設置ファイルリストを確認し新たに出力されたアクセスログを収集削除ファイルリストリカバリファイルリストを確認しすでに収集したアクセスログを差し替える P4

6 1-3 アクセスログアクセスログとは CDN ホストにエンドユーザーがアクセスすると CDN サーバーにアクセスログが出力されますアクセスログにはエンドユーザーのリクエスト元 IP アドレスアクセス日時をはじめ様々な情報が出力されますアクセス解析にご活用くださいアクセスログフォーマット CDNext で出力可能なアクセスログフォーマットは以下の通りですご利用用途にあわせてフォーマットをお選びください No アクセスログフォーマット説明 1 LTSV J-Stream CDNext 独自の LTSV フォーマットです 2 J-Stream 独自旧 J-Stream WEB-CDN サービスのログフォーマットです 3 Apache combined Referer と User-Agent を含む Apache HTTP サーバーのログフォーマットですアクセスログレコードのサンプルそれぞれのフォーマットで出力されるレコードのサンプルですマニュアルの表示上の都合のため以下ご了承ください LTSV のフィールド区切り文字 ( タブ文字 ) を <%TAB%> と表示しています適宜途中改行をしています LTSV c-ip: <%tab%>vhost-id: abcdef abcdef<%tab%> req-id: abcdef abcdef/ :12/12345/12345/12345/12345<%tab%>c-user:-<%tab%> date-time:[04/dec/2017:10:01: ]<%TAB%>method:GET<%TAB%> origin-uri: proto:http/1.1<%tab%>status:404<%tab%>sc-bytes:495<%tab%> c-referer:" time-taken:0.001<%tab%>length:225<%tab%>cache-status:hit/f<%tab%> request:"get HTTP/1.1"<%TAB%> content-type:"text/html; charset=iso "<%tab%>x-forwarded:" ,unknown"<%tab%> user-agent:"mobilesafari/604.1 CFNetwork/889.9 Darwin/17.2.0"<%TAB%> last-modified:"fri, 24 Feb :35:21 GMT"<%TAB%>etag:" x ff2a722 x22"<%tab%> vary:"accept-encoding, Accept-Language"<%TAB%>user-add-key:" Vary;Accept-Encoding=gzip"<%TAB%> cache-key: abcdef abcdef<%tab%>user-data:"" J-Stream 独自 [04/Dec/2017:10:00: ] "GET HTTP/1.1" " MISS/S GET :8080 text/html ,unknown "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/ (KHTML, like Gecko) Chrome/ Safari/ Edge/ " Apache combined [04/Dec/2017:10:00: ] "GET HTTP/2.0" " "Mozilla/5.0 (Linux; Android 7.1.1; 507SH Build/S1116) AppleWebKit/ (KHTML, like Gecko) Chrome/ Mobile Safari/537.36" 次ページよりそれぞれのアクセスログフォーマットのフィールドについて説明します P5

7 1-4 アクセスログフォーマット LTSV エンドユーザーのリクエスト情報をキー : 値のペアでタブ区切りにしたデータが 1 レコードとなりますレコードの区切りは改行 (LF) です各フィールドの意味は以下の通りです No フィールド説明例 1 {c-ip} クライアント IP c-ip: {vhost-id} VHOST_ID 英数 32 桁 vhost-id: abcdef abcdef 3 {req-id} リクエストに一意な ID reqid: abcdef abcdef/ :12/1234 5/12345/12345/ {c-user} ユーザー名 ( 基本認証時に出力 ) c-user:username 5 {date-time} リクエスト処理日時 date-time:[28/feb/2017:13:00: ] 6 {method} リクエストのメソッド method:get 7 {origin-uri} オリジン URL originuri: y_key=value 8 {proto} HTTP プロトコル proto:http/1.1 9 {status} HTTP ステータス status: {sc-bytes} HTTP ヘッダを含む転送バイト数 sc-bytes: {c-referer} リファラ空の場合は "-" c- referer:" lue" 12 {time-taken} リクエスト処理時間 (s) time-taken: {length} 応答コンテンツサイズ (byte) length: {cache-status} キャッシュステータス cache-status:hit/f 15 {request} メソッドリクエスト URL プロトコル request:"get ry_key=value HTTP/1.1" 16 {content-type} コンテンツの MIME type content-type:"text/html" 17 {x-forwarded} リクエストに付与された X-Fowarded-For 空の場合は "-" x-forwarded:" ,unknown" 18 {user-agent} ユーザーエージェント空の場合は "-" user-agent:"mozilla..." 19 {last-modified} オリジンがコンテンツに付与した Last-Modified 空の場合は "- last-modified:"fri, 24 Feb :35:21 GMT" 20 {etag} オリジンがコンテンツに付与した Etag 空の場合は "-" etag:" x ff2a722 x22" 21 {vary} オリジンがコンテンツに付与した Vary 空の場合は "-" vary:"accept-encoding, Accept-Language" 22 {user-add-key} 同一 URL で別キャッシュとなる指定条件空の場合は "" user-add-key:" Vary;Accept-Encoding=gzip" 23 {cache-key} CDNext 内部利用情報 ( キャッシュキー ) cache-key: abcdef abcdef 24 {user-data} 未使用 user-data:"" P6

8 J-Stream 独自エンドユーザーのリクエスト情報をスペース区切りにしたデータが 1 レコードとなりますレコードの区切りは改行 (LF) です各フィールドの意味は以下の通りです No ログフィールド説明例 1 {c-ip} クライアント IP 常に "-" - 3 {c-user} ユーザー名 ( 基本認証時に出力 ) username 4 {date-time} リクエスト処理日時 [28/Feb/2017:13:00: ] 5 {method} {origin-uri} {proto} メソッドオリジン URL プロトコル "GET ey=value HTTP/1.1" 6 {status} HTTP ステータス {sc-bytes} HTTP ヘッダを含む転送バイト数 {c-referer} リファラ空の場合は "-" " 9 {time-taken} リクエスト処理時間 (s) {length} 応答コンテンツサイズ (byte) {cache-status} キャッシュステータス HIT/F 12 {request-method} リクエストのメソッド GET 13 {request} リクエストのメソッド /URI/ プロトコル ry_key=value 14 {upstream} CDNext 内部利用情報 x.x: {content-type} コンテンツの MIME type "text/html" 16 {x-forwarded} リクエストに付与された X-Fowarded-For 空の場合は "-" " ,unknown" 17 {user-agent} ユーザーエージェント空の場合は "-" "Mozilla..." P7

9 Apache combined エンドユーザーのリクエスト情報をスペース区切りにしたデータが 1 レコードとなりますレコードの区切りは改行 (LF) です各フィールドの意味は以下の通りです No ログフィールド説明例 1 {c-ip} クライアント IP {"-"} 常に "-" - 3 {c-user} ユーザー名 ( 基本認証時に出力 ) username 4 {date-time} リクエスト処理日時 [28/Feb/2017:13:00: ] 5 {request} メソッドリクエスト URL プロトコル "GET ry_key=value HTTP/1.1" 6 {status} HTTP ステータス {sc-bytes} HTTP ヘッダを含む転送バイト数 %O 相当 (byte) {c-referer} リファラ空の場合は "-" " 9 {user-agent} ユーザーエージェント空の場合は "-" "Mozilla..." P8

10 1-5 アクセスログ提供機能における留意事項ここではアクセスログ提供機能における留意事項について説明しますアクセスログの確定出力についてアクセスログ出力設定を行った CDN ホストのアクセスログはおよそ 2 時間後から FTP サーバーの所定のディレクトリに出力されますアクセス負荷や障害等により出力遅延削除リカバリが発生する場合がありますが翌日の午後 12 時までには確定出力しますもし翌日の午後 12 時までに確定出力ができない場合にはアカウント管理者のメールアドレス宛に通知が行われますアクセスログの利用シーンについてアクセスログは障害によるレコード欠損レコード重複を除き % の精度を目標としてベストエフォートで提供しています特にトレンド分析や速報データとして最適ですアクセスログ出力についてアクセスが無い場合ディレクトリアクセスログファイルリストは出力されませんディレクトリ名ファイル名に含まれる日時情報についてアクセスログレコードのタイムスタンプをもとに生成されますディレクトリファイルの保持期間についてアクセスログは出力後 40 日間参照することができますのでその間に取得してください 80 日間アクセスログ出力が行われないと VHOST ID ディレクトリは削除されますご注意ください P9

11 1-6 アクセスログ処理スクリプトサンプルアクセスログの収集結合を行うスクリプトのサンプルです適宜ご参考ください動作を保証するものではありませんので動作確認のうえご活用ください Unix 系 OS 向け (bash) # ログインユーザー名 FTP_LOGIN_USERNAME="clNNN_name" # ログインパスワード FTP_LOGIN_PASSWORD="password" # 対象 CDN ホストの VHOST ID # 例 ) abcdef abcdef TARGET_VHOST_ID="vhost_id" # 対象日付 # 例 ) TARGET_DATE="yyyymmdd" # ファイル取得 wget -nv ftp://cdnext-log-store.stream.ne.jp/any/${target_vhost_id}/${target_date}/ --user ${FTP_LOGIN_USERNAME} --password ${FTP_LOGIN_PASSWORD} -r -P ${TARGET_DATE} # 取得ファイルログ行数確認 find ${TARGET_DATE}/ -type f -print0 xargs -r0 zcat wc -l # ファイル結合 find ${TARGET_DATE}/ -type f sort xargs cat >> ${TARGET_DATE}.gz # 結合後ファイルログ行数確認 zcat ${TARGET_DATE}.gz wc -l # 日時昇順でソート (LTSV 向け ) # zcat ${TARGET_DATE}.gz sort -k5,5 > sorted.log # 日時昇順でソート (J-Stream 独自 Apache combined 向け ) # zcat ${TARGET_DATE}.gz sort -k4,4 > sorted.log P10

12 Windows 系 OS 向け (cmd.exe) Unix コマンドが使用可能になる Gow(Gnu On Windows) を併用しています rem ログインユーザー名 set FTP_LOGIN_USERNAME=clNNN_name rem ログインパスワード set FTP_LOGIN_PASSWORD=password rem 対象 CDN ホストの VHOST ID rem 例 ) abcdef abcdef set TARGET_VHOST_ID=vhost_id rem 対象日付 set TARGET_DATE=yyyymmdd rem ファイル取得 wget -nv ftp://cdnext-log-store.stream.ne.jp/any/%target_vhost_id%/%target_date%/ ^ --user %FTP_LOGIN_USERNAME% --password %FTP_LOGIN_PASSWORD% -r -P %TARGET_DATE% rem 取得ファイルログ行数確認 dir /B /S *.gz sed -e "s/ / //g" sort xargs gzip -cd wc -l rem ファイル結合 dir /B /S *.gz sed -e "s/ / //g" sort xargs gzip -cd gzip -c > %TARGET_DATE%.gz rem 結合後ファイルログ行数確認 gzip -cd %TARGET_DATE%.gz wc -l P11

WebARENA SuiteX V2 EC-CUBE 2.13 インストールマニュアル ( 標準 MySQL+ 非 SSL ) 作成 :2014 年 2 月 Ver.1.1

WebARENA SuiteX V2 EC-CUBE 2.13 インストールマニュアル ( 標準 MySQL+ 非 SSL ) 作成 :2014 年 2 月 Ver.1.1 注意事項 EC-CUBE は株式会社ロックオンの提供するソフトウェアですここでは株式会社ロックオンから提供されている EC-CUBE バージョン 2.13 のパッケージをご利用される前提で基本的な設置手順を掲載しております