目次 1. はじめに エンドポイント 利用開始まで ユーザー登録 CLI ツールのインストール CLI ツールのインストール RubyGems のインストール CL

Transcription

1 Yahoo! ビッグデータインサイト ご利用ガイド サービスマニュアル Ver 年 1 月 23 日 株式会社 IDC フロンティア

2 目次 1. はじめに エンドポイント 利用開始まで ユーザー登録 CLI ツールのインストール CLI ツールのインストール RubyGems のインストール CLI ツールのインストール エンドポイント設定 クエリを実行してみる コンソール CLI ログイン クエリ実行 データアップロード DB TABLE 作成 コンソール CLI データアップロード バルクインポート ストリーミングインポート エンドポイント設定方法 CLI ツール Android SDK ios SDK JavaScript SDK お問合わせ... 15

3 1. はじめに この文書では Yahoo! ビッグデータインサイトをご利用し始めたばかりのお客様 これから利用しようとし ているお客様に Yahoo! ビッグデータインサイトの利用開始までの流れと 簡単な使い方を記載します 本手順書では Yahoo! ビッグデータインサイトを利用開始されたばかりの方 これから開始するお客 様を対象としております より詳細な利用方法については 詳細ドキュメントサイト ( を参照してください Yahoo! ビッグデータインサイトでは コマンドラインツール ( 以降 CLI) と Web コンソール ( 以降 コンソール ) という二つの操作系のユーザーインターフェースを提供しております またログ収集専用のエンドポイントも提供しております 本手順書では操作系ユーザインターフェースのそれぞれのインストール方法 データのアップロード方法 クエリの実行方法 クエリの実行結果のエクスポート方法について概説します また Yahoo! ビッグデータインサイトは現在でも積極的に開発しているサービスであり 一部本手順と実 際の画面やコマンドシンタックスが異なる箇所があるかもしれません そのようなときはお気軽にお問合せください 2. エンドポイント Yahoo! ビッグデータインサイトで利用可能なエンドポイントと用途を以下に記載します コンソールエンドポイント : console-ybi.idcfcloud.com ブラウザ経由で Yahoo! ビッグデータインサイトを操作する際に指定するエンドポイントとなります API エンドポイント : ybi.jp-east.idcfcloud.com CLI ツールで指定するエンドポイントとなります サーバログの収集とクエリ実行 そして REST API のエンドポイントとなります クライアント SDK エンドポイント : mobile-ybi.jp-east.idcfcloud.com Android SDK, ios SDK, Unity SDK, JavaScript SDK などの SDK で指定するエンドポイントとなります ログ収集専用のエンドポイントとなります 1

4 3. 利用開始まで Yahoo! ビッグデータインサイトは Free プランがありますので 無料で利用開始することができます 3.1. ユーザー登録 以下の操作手順は インターネットに接続した状態で行ってください 1. コンソールにアクセスします URL は以下になります n_up 2. 以下の必要事項を記入し Sign Up ボタンを押下します - 名前 - 会社名 - 電話番号 - メールアドレス - パスワード 2

5 3. しばらくすると Sign Up 時に入力したメールアドレス宛てに Yahoo! ビッグデータインサイトの招待メールが来ます Accept Invitation ボタンを押下することで押下することでコンソールにログインすることができます Yahoo! ビッグデータインサイトご利用ガイド これでユーザー登録は完了し 利用する準備 が完了しました 4. CLI ツールのインストール 4.1. CLI ツールのインストール 以下の操作手順は Linux サーバ上で実行してください Linux サーバには Ruby がインストールされていることを前提として手順を記載します インストールされていない場合は インストール後本手順を参照してください また Ruby のバージョンは 1.9 以降を推奨しております RubyGems のインストール Ruby のパッケージ管理ツールである RubyGems をインストールします インストール済みである場合は本手順をスキップしてください 3

6 CLI ツールのインストール Yahoo! ビッグデータインサイトご利用ガイド RubyGems で CLI ツールをインストールします エンドポイント設定ログイン後に毎回エンドポイントを設定する必要がないように ~/.bash_profile に環境変数として設定しておきます Yahoo! ビッグデータインサイトの API エンドポイントは以下となります API エンドポイント :ybi.jp-east.idcfcloud.com 5. クエリを実行してみる Yahoo! ビッグデータインサイトでは すぐにお客様に操作して頂けるようにサンプルデータが登録されて います ここではサンプルデータに対してクエリを実行する手順について記載します 5.1. コンソール コンソールには対話的なチュートリアル機能が実装されていて チュートリアルに沿って操作すればクエリの実行方法を理解できると思います ここでは対話的なチュートリアルの開始方法を記載します 1. コンソールにログインします URL は以下になります in 4

7 2. ヘッダメニュの Help > Tutorial タブをクリックし ます 3. Interactive Tutorial というポップアップが表示されますので そこで Start ボタンを押下します そうする対話的なチュートリアルが開始されます あとはチュートリアルに沿って操作してくださ い 5.2. CLI CLI ツールでのクエリの実行方法を記載します ログイン CLI ツールで Yahoo! ビッグデータインサイトにログインします 5

8 クエリ実行 Yahoo! ビッグデータインサイトご利用ガイド 以下のコマンドでクエリを実行します 以下オプションの意味です -w: クエリが実行完了するまで待つ -t: クエリのタイプを指定します -d: DB 名を指定します 6. データアップロード ここでは Yahoo! ビッグデータインサイトへのデータのアップロード手順について記載します Yahoo! ビッグデータインサイトへのアップロードには大きく分けて以下の二つの方法があります バルクインポート : 既存のデータをアップロードするときに使用するアップロード方法です サポートしている形式としては CSV, TSV, JSON, MySQL などとなります ストリーミングインポート : ほぼリアルタイムでデータをアップロードする方法となります OSS である td-agent を利用したアップロード方法となります 6.1. DB TABLE 作成 データのアップロード先となる DB と TABLE の作成手順を記載します コンソール 6

9 1. コンソールにログインします URL は以下になります in 2. Databases タブをクリックし Databases 画面を 表示させます 3. DB 名を入力し Create ボタンを押下することで DB を作成することができます 4. 次に Table を作成します ここでは started_db という DB に対してテーブルを作成します Create Table ボタンを押下し New Table 画面を表示させます 7

10 5. New Table 画面でテーブル名を指定して Create Table ボタンを押下することで TABLE を 作成することができます Yahoo! ビッグデータインサイトご利用ガイド CLI DB 作成 以下のコマンドで started_db という DB を作成します TABLE 作成 以下のコマンドで started_table というテーブルを作成します 6.2. データアップロード 作成した DB TABLE に対してデータをアップロードする方法を記載します アップロード方法毎の利用するインターフェースは以下となります バルクインポート : コンソール (CSV, TSV のみ ) CLI ツールストリーミングインポート :td-agent バルクインポート コンソール コンソールで対応している形式は CSV, TSV のファイルのみとなります (2014/09/25 現在 ) 8

11 1. CSV, TSV 形式のデータファイルを準備しま す 2. コンソールにログインします URL は以下になります ign_in 3. Collect Data タブをクリックして Collect Data 画面を表示させます 4. File Upload パネルをクリックし File Upload 画面を表示させます 5. 事前に用意しておいたデータファイルを画 面上にドラッグアンドドロップします 9

12 6. DB TABLE を選択して Use Slected table ボタンを押下します Yahoo! ビッグデータインサイトご利用ガイド 7. データに問題なければ Submit ボタンを押 下します これでアップロードは完了となります CLI ツール CLI ツールでは CSV, TSV 形式の他に JSON 形式 Apache ログ形式などで Yahoo! ビッグデータインサイトにバルクインポートすることが可能となります ここでは TSV 形式のファイルをアップロードする手順を記載します バルクインポート処理は高速化のため Java で実装されています そのため CLI ツールでバルクインポートする際には Java の実行環境が必要になりますので 事前にイン ストールしておく必要があります バルクインポート JAR ファイルのアップデート 以下のコマンドで CLI ツールのバルクインポートの JAR ファイルを最新化します 10

13 データ準備 アップロードしたいデータファイルを準備します Yahoo! ビッグデータインサイトご利用ガイド アップロード started_db の started_table にデータファイルをアップロードする手順は以下となります 上記で started_db の started_table に対して /tmp/www_access.tsv のデータをアップロードしています --column-header 指定することで /tmp/www_access.tsv の一行目をカラム名としてアップロードしています /tmp/www_access.tsv ファイルの抜粋が以下となります ストリーミングインポート ここではストリーミングインポートに必要な td-agent のインストール方法 API-Key の取得方法 ストリ ーミングインポートの設定手順を記載します td-agent のインストール td-agent とは Fluentd 安定版の配布パッケージであり ログサーバの OSS となります まず td-agent をインストールしたい Linux サーバにログインします ログイン後 それぞれの OS 種別によって以下の手順で td-agent をインストールします 11

14 API-Key の取得 td-agent では Yahoo! ビッグデータインサイトのアカウントに紐づいた API-Key が必要になります 以下のコマンドで API-Key を取得することができます td-agent の設定 td-agent では TCP ソケット経由でのログの取得 既存のログファイルを Tail してログを取得することが可能となります ここでは Apache ログを Tailing して 出力されたログを Yahoo! ビッグデータインサイトにアップロードする手順を記載します 以下の例のように設定ファイルを編集します 以下の例は Ubuntu12.04 環境での設定となります その他の環境の場合は適宜読み替えて設定し てください 12

15 インポート確認 正常にインポートされているかを確認します Yahoo! ビッグデータインサイトご利用ガイド まずは Apache サーバを起動します 次に以下のコマンドで td-agent を起動します このとき td-agent が監視している Apache ログにアクセス権限がないときに td-agent ログにエラーログ が出力されます エラーログが出力されたときは Apache ログのアクセス権限を確認してください Curl コマンドで Apache サーバにアクセスしてみます 正常な場合先ほど flush_interval に指定した時間経過後 Yahoo! ビッグデータインサイトにデータが アップロードされているはずです 7. エンドポイント設定方法 Yahoo! ビッグデータインサイトで利用可能なツール (CLI ツール Android SDK ios SDK JavaScript SDK など ) は明示的にエンドポイントを設定する必要があります ここではそれぞれの設定方法を記載します 13

16 7.1. CLI ツール Yahoo! ビッグデータインサイトご利用ガイド CLI ツールのエンドポイントの設定方法は エンドポイント設定 を参照してください 7.2. Android SDK 以下に Android SDK のエンドポイントの設定方法を記載します オブジェクト作成前にエンドポイントを指定します 7.3. ios SDK 以下に ios SDK のエンドポイントの設定方法を記載します 7.4. JavaScript SDK 以下に JavaScript SDK のエンドポイントの設定方法を記載します オブジェクト作成時に host としてエンドポイントを指定します その他のツールのエンドポイントの指定方法は 詳細ドキュメントサイト ( を参照してください 14

17 8. お問合わせ サービスに関するお問い合わせは 以下の窓口よりご連絡ください 対応内容連絡先対応時間 本手順書のお問合せ サービ ス仕様 その他のお問合せ Ticket コンソール ( > Help > Support のメールシステム 24 時間 365 日 15

18 改版履歴 改訂日 改訂章 改訂内容 2014 年 9 月 25 日 全章 初版 2015 年 1 月 21 日 8 章 Chat 窓口削除 2015 年 1 月 23 日 8 章 チケット管理システム から メールシステム に変更 16

19 Yahoo! ビッグデータインサイト ご利用ガイド サービスマニュアル Ver.1.20 発行日 :2015 年 1 月 23 日 株式会社 IDC フロンティア 東京都新宿区四谷