Yahoo!ビッグデータインサイト めちゃ楽ガイド

Transcription

1

2 目 次 サービス 説 明 はじめに ゕカウント 作 成. P2 P3 P4 P6 P13 P19 P26 1

3 Treasure Dataサービス by IDCFとは? 大 量 の 収 集 保 存 をワンストップで 利 用 できるクラウド 型 のビッグデー タ 基 盤 サービスです 特 長 1 ンフラ 不 要! クラウド 型 のサービスなので ンフラの 構 築 運 用 監 視 は 必 要 ありません の 増 大 を 気 にすることなくご 利 用 いただけます 特 長 2 スキーマ 設 計 不 要! したいを 投 入 するだけですぐに 始 められます 特 長 3 安 心 のセキュリテゖ! は 国 内 のセンターに 保 管 してあるので セキュリテゖも 安 心 閉 域 網 (オプション)を 利 用 すれば よりセキュゕにを 転 送 することも 可 能 です BIツール ソース 外 部 ストレージ 等 2

4 はじめに このガドをご 利 用 いただきたい 方 コマンドランツールに 慣 れてない 方 ベースやSQLなどの 用 語 がよく 分 からない 方 非 エンジニゕ に 興 味 がある 方 目 標 Treasure Dataサービス by IDCF( 以 降 TD)を 使 って の 流 れを 理 解 する Webコンソールで 基 本 的 な 操 作 ができる 簡 単 なクエリが 書 ける 進 め 方 Webコンソールのみで 操 作 Step 1 Step 2 Step 3 Step 4 ゕカウント 作 成 無 料 でお 試 し 利 用 ができる スター ターゕカウントを 作 成 します 対 象 の をTDに 取 り 込 み ます *サンプルあり した の 中 から 必 要 なものを 抽 出 す る 処 理 を 実 行 しま す 抽 出 した 結 果 の を 外 部 シス テムに します 3

5 ゕカウント作成 Step 1 分析 出力 Treasure Dataサービス by IDCFの アカウント作成 よくある質問 最短1分で お申し込み 無料でお試し利用ができる Treasure Dataサービス by IDCF のスターターゕカウントを 作成して ログ ンしましょう 1 ゕカウント作成 下記URLにゕクセスし ゕカウントを作成 しましょう ゕカウント作成画面 URL users/sign_up 必要事項を入力して Start free trial を クリックします Work ログ ン用メールゕドレス Phone 国番号81+先頭の 0 を除いた電話番号 例)日本国内で の場合 を入力 2 メールの認証 入力したメールゕドレスにゕカウント作成 確認のメールが届きます メールを開いて Confirm your account をクリックすれ ば ゕカウント作成の完了です 4

6 5 ゕカウント 作 成 3 基 本 的 な 操 作 の 理 解 チュートリゕルで 基 本 操 作 を 覚 えましょう TDの 簡 単 な 使 い 方 を 知 ることができます Start をクリックして 順 番 通 りに 操 作 します 4 ログン 画 面 からのゕクセス 次 回 から サービスご 利 用 の 際 には この ログン 画 面 からゕクセスします ログン 画 面 URL /users/sign_in ブックマークがおすすめ!

7 ゕカウント作成 分析 出力 よくある質問 Step 2 イ (TSV アップロード) とは お客さまのをTD上にゕップロードすることを意味します の方法には File Upload Client SDKs(*1) Streaming Collector Bulk Loader があります この章では File Upload 機能を使って TSV(*2)フゔ ルをゕップロードしましょう 各 方法の詳しい特徴については を始める前に よく使われる用語の意味から理解していきます カラム ベース sample_datasets テーブル table2 テーブル table1 レコード ベース〆を入れる箱 テーブル 〆ベースに入っている表形式のの集まり レコード 〆テーブルの一行 1件分のを意味する カラム 〆テーブルの縦方向に 同じ意味を持ったが並ぶ (*1)SDK:Software Development Kitの略語 ソフトウェゕを開発するために必要なツールなど一式 (*2)TSV:文字や文字列の間にタブ記号を挿入して区切りを設けること あるいはそのようにして各 を区切って管理するフゔ ル形式のこと 6

8 1 対 象 (フゔル)の 用 意 ローカル 環 境 にあるフゔルをTDにしましょう まず ローカル 環 境 にCSV (*3) やTSVフゔルをご 用 意 ください CSVやTSVフゔルがなければ 下 記 のURLからのサンプル 用 TSVフゔル をローカル 環 境 にダウンロードしてご 利 用 ください サンプル URL 2 フゔルゕップロード をゕップロードしましょう 画 面 の 左 の 一 番 上 にある 青 色 の Collect Data をクリックします (*3)CSV:ベースの 各 レコードにおいて フゖールドの 区 切 りをカンマ のみで 表 現 する 形 式 のこと 各 レコードの 区 切 りは 改 行 で 表 現 CSV 形 式 で 保 存 されたフゔルには 拡 張 子 として.csv が 付 く 7

9 3 File Upload の 下 にある Import を クリックします 4 画 面 の 中 央 の Browse File System をク リックして ローカル 環 境 に 用 意 したン ポート 対 象 のフゔルを 指 定 します 8

10 ゕカウント作成 5 分析 出力 ベースの作成 したフゔ ルを保存する ベースを作成しましょう ① ② ①ゕップロードしたフゔ ルが画面に表示 されます ② Databases の右にある + をクリッ クしましょう 6 よくある質問 任意のベース名を入力して Create をクリックします 今回は 例として stock_db という名前の ベースを作成してみます ベース名の制限 文字数〆3~255文字 文字種別〆 ゕルフゔベット半角小文字 数字 記号は _ (ゕンダーバー)のみ 9

11 7 テーブルの 作 成 9ページで 作 成 したベースの 中 に テーブルを 作 成 しましょう Tables の 右 にある + をクリックし ます 8 テーブル 名 を 入 力 して Create をク リックします 今 回 は 例 として table1 という 名 前 の テーブルを 作 成 します テーブル 名 の 制 限 文 字 数 〆 3~255 文 字 文 字 種 別 〆 ゕルフゔベット 半 角 小 文 字 数 字 記 号 は _ (ゕンダーバー)のみ 10

12 ゕカウント作成 9 分析 出力 よくある質問 ベースとテーブルの選択 ① stock_db というベースと table1 というテーブルが表示されまし た ② Use selected table をクリックして 先のテーブルを指定しま しょう ① ② 10 プレビュー するテーブルの情報が表示され ます Submit をクリックすると ン ポートが開始されます 注意 注意 Missing time column(*4) と いう警告が表示される場合 time というカラム名が指定され てないことを意味します 時刻を 表すカラム名を time として指定 してください 時刻を表すカラム 名がない場合は 任意のカラム名 を time として指定してください (*4)time column:時刻を表すカラムを意味します TDでは 時刻のが集まっているカラムを time として指定する必要があります 11

13 11 の 完 了 Success 表 示 がされると の が 完 了 しました 12

14 ゕカウント作成 分析 出力 よくある質問 Step 3 分析 Step2の手順でTD上にをゕップロードし が分析できるようになりました Step3では したに対してクエリ(*5)を作成し 分析をします Step3は 基本的なクエリを作成するStep3-1の 基本編 と time 関数を使う Step3-2の 応用編 に分かれます Step 3-1 分析 基本編 クエリを作成する前に SQL(*6)でテーブルからを抽出するSelect文の簡単な構成について 理解しましょう SELECT (カラム名) FROM (テーブル名 ) WHERE (条件式) ORDER BY (カラム名) スペース SELECT (カラム名) FROM (テーブル名) WHERE (条件式) ORDER BY (カラム名) : 抽出するカラム名を指定します : テーブルを指定します : テーブルに入っているレコード(行)の中から 抽出するレコード の絞り込み条件を指定します : 抽出結果の行の順番を入れ替えます SELECT 文は全て半角文字で入力します SQLでは 命令中の句の順番を変えることはできません 必ず SELECT FROM WHERE ORDER BY の順番通りに記述してください 順番を間違えるとエラーになります 複数のカラム名を書く場合は 半角カンマ, で区切ってください 最後のカ ラム名に対しては, は不要です (*5)クエリ〆クエリ(Query)とは 英語で 問い合わせ る 尋ねる などの意味を持つ英語の単語 IT では の問い合わせや要求などを一定の形式で文字に表現したもので クエリを通じての検索や更 新 削除 抽出などの要求をベース DBMS)に送信することができます (*6)SQL〆リレーショナルベース管理システム (RDBMS) において の操作や定義を行うための ベース言語 13

15 1 クエリの 概 要 先 ほど TD 上 にゕップロードしたサンプルを 使 って クエリを 作 成 しましょう 1 table1 テーブルから symbol open close の3つのカラムを 抽 出 する 2 close の 値 が open の 値 より 大 きいもののみに 絞 り 込 む 3 close の 値 で 降 順 に 並 べ 替 える というクエリを 作 成 します 2 クエリ 作 成 の 画 面 1 画 面 の 左 の New Query をクリック します 2 使 用 するベースを 選 択 します Select a database.. をクリックして [stock_db を 選 択 します エンジンのタプを 選 択 します の 量 や 実 行 したい 内 容 によって 適 した エンジンを 選 択 しましょう 今 回 は Type で, Presto (*7) をク リックします Presto の 選 択 ができな い 場 合 は(ゕカウント 登 録 日 から14 日 が 過 ぎた 場 合 ) Hive (*8) をクリックします *スタータープランでは ゕカウント 登 録 日 から14 日 間 のみ Presto も 利 用 できます ドキュメントサト URL (*7)Presto 〆 ンメモリ 処 理 により 大 規 模 ベースのクエリをンタラクテゖブに 実 行 できる ゕドホッ ク 処 理 に 適 している (*8)Hive 〆 超 大 規 模 なに 対 するクエリを 安 定 的 に 実 行 する バッチ 処 理 に 適 している 14

16 3 クエリを 作 成 する 際 に 必 要 なカラム 名 を 参 照 しましょう table1 をクリックすると テーブル 内 のカラム 名 が 表 示 されます 4 1 table1 テーブルから 抽 出 するカラム 名 を 参 照 します 3 SELECT 文 の 記 述 とクエリ 実 行 2SELECT 文 を 書 きます SELECT symbol, open, close FROM table1 WHERE close > open ORDER BY close DESC Run をクリックすると クエリが 実 行 されます 上 記 構 文 の 意 味 を 説 明 します SELECT symbol, open, close symbol, open, closeというカラムを 抽 出 する FROM table1 table1というテーブルから 抽 出 する WHERE close > open Closeの 数 値 がOpenの 数 値 より 大 きいものだけを 抽 出 する ORDER BY close DESC Closeのカラムを 基 準 としてを 降 順 で 並 べ 変 える (descはは 降 順 で 並 べることを 意 味 します 何 も 書 かないときは 昇 順 で を 並 べます ) 15

17 5 クエリ 実 行 の 完 了 クエリの 実 行 が 成 功 すると 画 面 に Success が 表 示 されます 6 クエリ 結 果 の 確 認 画 面 を 下 にスクロールダウンすると 右 の ような 結 果 が 表 示 されます symbol, open, closeのカラムを 抽 出 し closeの 数 値 の 降 順 で 表 示 されたことが 分 か ります 16

18 ゕカウント作成 分析 出力 よくある質問 Step 3-2 分析 応用編 Step3-1で 基本的なクエリが作成できるようになりました Step3-2では time 関 数を使ってみましょう time 関数を使うと 必要な期間のだけを読み込むこ とができるので クエリの速度を向上させることができます 1 time 関数でできること 時刻の変換 TD_TIME_FORMAT(time,'日付フォーマット','タ ムゾーン') TDにを すると 時刻情報はUNIXタ ムスタンプ(*9)として保存されま す TD_TIME_FORMAT というUDF(*10)を使うことにより UNIXタ ムスタンプを日付 と時刻の形式に変換することができます 記述例 TD_TIME_FORMAT(time, 'yyyy-mm-dd HH:mm:ss','JST') time カラムを yyyy-mm-dd HH:mm:ss 形式に 日本標準時間で変換します 時間範囲の指定 TD_TIME_RANGE(time, '開始時間', '終了時間') Hiveの場合は ' (シングルクォーテーション)を " (ダブルクォーテーション) で囲みます TDでは したをtimeカラムを利用して 1時間単位で保存領域を分けて 保存しています 抽出するの時間範囲を指定することにより その時間範囲の保存領域のみにゕクセ スするため クエリ実行速度を向上させることができます 記述例 TD_TIME_RANGE(time, ' ', ' ') time カラムが2014年1月30日0時0分0秒から2014年01月31日0時0分0秒までのデー タのみを抽出することを意味します yyyy-mm-dd 形式の後に何も指定しない場合は yyyy-mm-dd 00:00:00 になります (*9)UNIXタ ムスタンプ〆1970年1月1日からの時間を秒単位で表したもの (*10)UDF(User Defined Function)〆日本語でユーザー定義関数を意味する SQLに対してユーザー自身 の拡張機能を作成するときに使用できるメカニズム 17

19 2 SELECT 文 の 記 述 SELECT TD_TIME_FORMAT (time, 'yyyy-mm-dd HH:mm:ss', 'JST') AS date, symbol, open, close FROM table1 WHERE close > open AND TD_TIME_RANGE(time, ' ', ' ') ORDER BY close DESC 必 要 な 項 目 を 選 択 して Select 文 を 記 述 し て Run をクリックしましょう 3 クエリ 実 行 Step3-1 で 実 行 したクエリと 比 べて 実 行 時 間 が 短 縮 されたはずです このように time カラムを 指 定 するこ とにより クエリの 速 度 を 向 上 させること ができます 今 回 のクエリは 約 9000 件 のを 対 象 にしました 同 じ 内 容 のが sample_datasets というDBの nasdaq というテーブルに 約 900 万 件 入 っ ております 大 量 なに 対 して クエリを 作 成 されたい 方 は このを 対 象 に クエリをお 試 しください 18

20 ゕカウント作成 分析 出力 よくある質問 Step 4 出力 TDでは 分析した結果をさまざまな外部システムと連携して活用することができます この章では 分析結果を Google スプレッドシート へ出力する方法を説明します 1 Google ゕカウントの登録 Google スプレッドシート に出力する ために TDにGoogleのゕカウントを登録 しましょう 画面の右の上に表示されている自分のユー ザ名クリックして My profile をク リックします 2 Google Accounts の項目で Add Account をクリックします 19

21 3 任 意 のGoogleゕカウントにログンし ます *Googleのゕカウントを 持 っていない 場 合 は 新 たにゕカウントを 作 成 してください 4 許 可 をクリックします これで GoogleのゕカウントがTD 上 に 追 加 されました 20

22 5 Step3-2で 実 行 したジョブを 再 度 実 行 して Googleスプレッドシートへ しましょ う 画 面 の 左 の 上 の Jobs をクリックし ます 2 2Step3-2で 実 行 したジョブの Job ID をクリックします 6 Edit Query をクリックします 21

23 7 先 の 選 択 Result Export という 項 目 の Add を クリックします 8 Export to という 項 目 で Google Spreadsheet を 選 択 します 22

24 9 必 要 な 項 目 を 入 力 し Use をクリック します メールゕドレス パスワード Spreadsheet 名 Worksheet 名 10 の 実 行 1 先 として 入 力 した 項 目 に 誤 りがない か 確 認 します 2 2 誤 りがなければ Run をクリックし ます 1 画 面 に Success と 表 示 されると 実 行 した 結 果 が 先 に 送 信 されました 23

25 ゕカウント作成 11 分析 出力 よくある質問 出力結果確認 Google スプレッドシートにゕクセスして クエリの出力結果を確認しましょう 12 グラフ作成 ① Symbol毎の株のOpen数値とCloseの数値を 比較するために グラフで可視化しましょう ① Insert chart をクリックします ② Insert をクリックします ② 24

26 13 右 のようなグラフが 表 示 されます 14 TDを 使 った のガドは 以 上 です TDによる の 流 れを 理 解 いただけましたでしょうか? さらに 複 雑 な を 試 してみたい 方 は 下 記 ドキュメントをご 参 照 ください ドキュメントサト URL] 25

27 Treasure Dataサービス by IDCF ゕカウ ント Q A ゕカウントのメンバーは 何 人 まで 追 加 できますか? メンバー 追 加 の 制 限 数 はありません クエリ Q A Q HiveやPrestoの 構 文 を 教 えてください 下 記 のドキュメントをご 参 照 ください URL: URL: Web 管 理 画 面 からフゔルをゕップロードする 際 レコード 数 やフゔ ルサズに 上 限 はありますか? A 目 安 としては 数 十 MB 程 度 が 上 限 となります お 使 いのブラウザやネットワークによって 上 限 値 が 変 わります Q CSVフゔルをゕップロードする 際 内 に,(カンマ) が 含 ま れているため 正 常 にできません A Q 2 通 りの 対 処 方 法 があります 1. 内 にカンマを 含 めないようにする 2. をTSV 形 式 にしてをゕップロードする の 件 数 はどのように 数 えられますか? A 1レコードを1 件 としてカウントします カラム 数 は 件 数 と 関 係 はありません セキュリ テゖ Q A 閉 域 網 経 由 でを 送 信 できますか? プラベートコネクト(オプション)をお 申 込 みいただくことで 閉 域 網 からデー タ 送 信 が 可 能 なエンドポントを 利 用 することができます プラベートコネクトについて URL 26

28 セキュリ テゖ Q 保 存 したはバックゕップされていますか? A のバックゕップは 実 施 していません ただし お 客 さまが 保 存 した は 自 動 的 に 異 なるノードに3 重 コピーし 保 存 します Q 送 信 時 は 暗 号 化 されますか? A td-agentやバルクで 指 定 するエンドポントをhttpsで 指 定 すると 送 信 時 の 通 信 がSSLで 暗 号 化 されます 障 害 Q A サービスの 障 害 はどのように 通 知 されますか? サービスステータスサトに 障 害 の 情 報 を 掲 載 します お 客 さまはあらかじめWeb サトからメールゕドレスを 登 録 いただくことで 障 害 情 報 の 自 動 通 知 メールを 受 信 することができます 必 ずご 登 録 ください メンテナンス々 障 害 情 報 上 記 サトから 障 害 情 報 受 信 用 メールゕドレスをご 登 録 ください サービス 可 用 性 情 報

29 リンク 集 ドキュメントサト よくあるご 質 問 用 語 集 エンジニゕブログ Twitter Facebook 株 式 会 社 IDCフロンテゖゕ ( 通 話 料 無 料 ) 09:00-17:00 平 日 受 付 * 本 ガドブック(2016 年 10 月 更 新 )の 内 容 は 予 告 なく 変 更 することがあります 最 新 情 報 は 左 記 URLをご 覧 ください * 記 載 されている 会 社 名 製 品 名 は 各 社 の 登 録 商 標 または 商 標 です * 表 示 金 額 はすべて 税 抜 きです