講義内容第週データサイエンスとは第週分析の概念と事例ビジネス課題解決のためのデータ分析基礎 ( 事例と手法 ) 第 3 週分析の具体的手法ビジネス課題解決のためのデータ分析基礎 ( 事例と手法 ) 第週ビジネスにおける予測と分析結果の報告ビジネス課題解決のためのデータ分析基礎 (

Size: px

Start display at page:

Download "講義内容第週データサイエンスとは第週分析の概念と事例ビジネス課題解決のためのデータ分析基礎 ( 事例と手法 ) 第 3 週分析の具体的手法ビジネス課題解決のためのデータ分析基礎 ( 事例と手法 ) 第週ビジネスにおける予測と分析結果の報告ビジネス課題解決のためのデータ分析基礎 ("

しげのぶすわ
5 years ago
Views:

1 社会人のためのデータサイエンス演習第 3 週 : 分析の具体的手法第回 : クロス集計の軸設定と見方講師名 : 大黒健一

2 講義内容第週データサイエンスとは第週分析の概念と事例ビジネス課題解決のためのデータ分析基礎 ( 事例と手法 ) 第 3 週分析の具体的手法ビジネス課題解決のためのデータ分析基礎 ( 事例と手法 ) 第週ビジネスにおける予測と分析結果の報告ビジネス課題解決のためのデータ分析基礎 ( 事例と手法 )3 第週ビジネスでデータサイエンスを実現するために

3 第 3 週の内容紹介第回クロス集計の軸設定と見方第回散布図と相関の調べ方第 3 回相関関係と因果関係の違い第回時系列データの見方第回時系列データの分解の方法 3

4 クロス集計とは変数のカテゴリの組み合わせについてデータ個数や比率を集計横カテゴリと縦カテゴリの関連を調査可能変数間の関連性が明らかになると課題や注力ポイントが発見しやすくなるユーザー数アプリケーションの今月の数が落ちている! クロス集計先月今月 ios 万万 Andr oid 万万 ios で下落! ios で何か起こ先月今月っているのかも目的に応じた軸 ( 切り口 ) を設定することが重要

5 クロス集計の軸設定の考え方軸となる変数はカテゴリーデータ関係性を把握したい変数を軸に取る変数の例分類特徴変数の例デモグラフィック変数地理的変数人口統計分布に基づく変数基礎的情報として見ることが多い地理的に分割される変数消費者向けのマーケティングで利用されることが多い性別代家族構成職業収学歴など国行政区気候地域都市と農村など心理的変数価値観やライフスタイル好み等を表す変数意識調査の結果から変数をつくることが多い ** が好き ** を常用しているなど行動変数行動を表す変数 IT 化の進展によって集計が容易になった購買履歴使用頻度アクセスログなど

6 問題グラフはある小売り店舗の売上額を先月と今月で比較したもの今月の売上が落ち込んでいます何に問題があるのでしょう売上額先月今月 6

7 クロス軸を検討する売上を低下させる要素の仮説を出す夏休みが終わったのでファミリー層の売上が減ったのではないか? ファミリー層の売上が落ちている雨の日が多かったので天候のせいではないか? 雨の日は晴れや曇りの日に比べて売上が落ちる仮説にもとづいて軸を設定するファミリー層に着目家族構成という変数を軸に設定してみる天候に着目天気という変数を軸に設定してみる 7

8 クロス集計表から読み取るクロス集計表を作成し解釈する家族構成 ( ファミリー層単身層 ) を軸に設定上段 :n 下段 :% ファミリー層単身層計先月今月計, 円 67% 8, 円 % 38, 円 8%, 円 33% 8, 円 % 8, 円 % ファミリー層で売上が落ちていることが判明 3, 円 % 36, 円 % 66, 円 % 表頭表側行パーセント列方向は列パーセント 8

9 クロス集計表から読み取る異なる軸を設定すると家族構成を軸に設定天候を軸に設定先月今月計先月今月計ファミリー層, 円 67%, 円 33% 3, 円 % 雨の日, 円 8% 8, 円 %, 円 % 単身層 8, 円 % 8, 円 % 36, 円 % 雨以外の日 7, 円 7%, 円 3% 7, 円 % 計 38, 円 8% 8, 円 % 66, 円差異が明確計 % 38, 円 8% 8, 円 % 様々な軸でクロス分析を行うことで状況の詳細な把握が可能 66, 円 % 売上にはあまり関係がない

10 次回のテーマ次回は散布図と相関の調べ方お疲れ様でした!

11 社会人のためのデータサイエンス演習第 3 週 : 分析の具体的手法第回 : 散布図と相関の調べ方講師名 : 大黒健一

12 第 3 週の内容紹介第回クロス集計の軸設定と見方第回散布図と相関の調べ方第 3 回相関関係と因果関係の違い第回時系列データの見方第回時系列データの分解の方法

13 散布図と相関変数の関係性を見るには散布図が有効散布図はつの変数をそれぞれ X 軸 Y 軸としてレコードごとの座標を点で示す下図 A のような線形の関係だけでなく B 非線形の関係 C 離散的な関係 D 外れ値を含む関係のように様々な関係性を観察することができる A 線形の関係 B 非線形の関係 C 離散的な関係 D 外れ値を含む Y Y Y Y X X X X プロットすると関係が見えてくる 3

14 相関とは線形の関係においてつの変数に関係があることを相関というある変数が増大すればするほどもう一方の変数が増大ある変数が増大してももう一方の変数は無関係な値ある変数が増大すればするほどもう一方の変数が減少正の相関相関なし負の相関身長身長遊び時間体重学力学力

15 相関係数と散布図の関係つの変数の関係に関する基本統計量のことを相関係数 (r) という相関の強さの絶対的な基準はないが一般的には以下のように捉えられる 3 - r= 正の相関関係強い r= r= r= r= 負の相関関係強い正の相関解釈負の相関解釈 ~. 無相関 -.~ 無相関.~.3 弱い正の相関 -.3~-. 弱い負の相関.3~.7 中程度の正の相関 -.7~-.3 中程度の負の相関.7~ 強い正の相関 -~-.7 強い負の相関

16 相関係数を算出する前に散布図を描く散布図を描かずにいきなり相関係数を出して解釈すると外れ値に気づかず相関が高いと判断無相関と思っていたのにグループ分けによって相関が発現例相関係数 (r)=.8 外れ値外れ値を除外相関係数 (r)=. 例全体では関係がなさそうグループ分け相関係数の値を過信せず散布図を注意深く観察することが必要 6

17 問題下記は水稲の作付面積と収穫量データです作付面積と収穫量に関係性はあるでしょうか次作付面積 ( 千 ha) 収穫量 ( 千 t),,63,33,6,,6 3,7 7,8,,6,6,7 6,67,38 7,, 8,73 8,3,78,,763,7,7,8,683 8,876 3,66 7,77,67 8,7 作付面積収穫量平均値,7,6 分散 3,63,7, 標準偏差出典 : 農林水産省作物統計より作成 ogl83_&tclassid=3 &cyclecode=&requestsender=dsearch 7

18 収穫量 ( 千 t) 相関関係を調べる散布図を描いてみる 3, X 軸の平均値,,,, 8, Y 軸の平均値 7, 6, 変数に右上がりの, と r=.6,6,8,,, 線形の関係が見える作付面積 ( 千 ha) 相関係数を算出する中程度の正の相関 8

19 収穫量 ( 千 t) 相関関係を調べるこれで分析は終わり? 3, 3 外れ値を除くと r=., 強い相関関係が現れた,,, 8, 8 7, 7 6, 6 外れ値を調べるとよく見ると他の値異常な冷夏のよりも外れている? のデータだった, 6,6 8,8,,, 散布図により外れ値を把握することができる作付面積 ( 千 ha)

20 相関係数を調べる 3 Excel で相関係数を算出するには左図のような変数の相関係数を算出する場合エクセル関数の CORREL で算出できる値を出したいセルに =CORREL( 変量変量 ) と記入

21 次回のテーマ次回は相関関係と因果関係の違いお疲れ様でした!

22 社会人のためのデータサイエンス演習第 3 週 : 分析の具体的手法第 3 回 : 相関関係と因果関係の違い講師名 : 大黒健一

23 第 3 週の内容紹介第回クロス集計の軸設定と見方第回散布図と相関の調べ方第 3 回相関関係と因果関係の違い第回時系列データの見方第回時系列データの分解の方法 3

24 相関と因果の違い相関はある変数が変化すると他方の変数も同時に変化する関係因果はある変数が他方の変化を引き起こす関係 ( 一方通行の関係原因と結果 ) 相関関係因果関係 A B A B 背が高い人ほど体重も重い台風で航空便が欠航相関と因果は異なることに注意

25 見せかけの相関関係が現れるケース因果の間に共通の要因がある例えば所得と健康満足度の間には負の相関関係がみられる所得所得所得が高い人ほど健康満足度は低くなる? 齢健康満足度健康満足度変量の関係の間に共通因子が存在背景にある共通因子に注意

26 見せかけの相関関係が現れるケースデータのバイアスセンター試験の点数例えばある大学でセンター試験の英語の点数と大学入学後に受けた TOEIC の点数の関係性を調べたが相関は見られなかったセンター試験の英語の点数と TOEIC の点数に関係性はないのだろうかその大学に入学した学生というバイアスがかかっていたため相関関係が見えなくなっていた相関なし? TOEIC の点数実はセンター試験の点数 TOEIC の点数切り取られたデータだった調べたい事柄とデータが一致しているか要確認 6

27 見せかけの相関関係が現れるケース 3 偶然例えば男女がそれぞれ回ずつコインを投げて裏と表の出たレコードを記録していくという作業を回繰り返した場合回のうち数回は偶然にも性別とコインの裏表に相関が見える場合がある偶然男性裏相関関係? 偶然女性表偶然でないことを確かめることが必要 7

28 見せかけの相関関係が現れるケース因果の流れが逆残業をする人としない人とでは残業しない人の方が仕事の効率が良い残業を禁止にすれば仕事の効率は上がるだろうか残業しないから効率が良いのではなく効率が良いから残業しない因果関係や相関関係について考察する際には背景にある共通の要因データのバイアス偶然か因果の流れなどに十分注意する必要がある 8

29 緑茶は長生きの原因かある地域では緑茶の消費量が多くそこには長生きの人がたくさん住んでいる長生きの原因は緑茶と言えるでしょうかここで言えるのは緑茶を飲むことと長生きとは何か関係がありそうだ (= 相関関係がある ) ということのみ相関関係があるからといって緑茶が長生きの直接的な原因であるかどうかは分からないある事象が他方の事象を引き起こしていることが証明できない限り因果関係があるとは言えない

30 問題おにぎりとお茶の購買履歴データがありますおにぎりとお茶との間には相関関係や因果関係はあるのでしょうか ID おにぎり購入お茶購入 3 6 購入を購入なしをとしたデータおにぎりを買う人はお茶も買う? おにぎりを買えばお茶も買うのか? 3

31 相関関係と因果関係を考察する相関係数を算出したらクロス集計をやってみたらお茶購入お茶購入なし計おにぎりおにぎり購入購入なし計 % % % 3 7 % 8% % 3 37% 63% % r=.36 相関はありそうお茶購入者でおにぎり購入した人と購入しなかった人は半々お茶とおにぎりは関係ない? 3

32 相関関係と因果関係を考察するおにぎり購入有無で再集計してみたらおにぎり購入おにぎり購入なし計お茶購入お茶購入なし計 7 3 8% % % % % % 3 6% 36% % おにぎり購入者の 8% がお茶購入お茶おにぎりの関係はないがおにぎりお茶の関係はありそう? 3

33 次回のテーマ次回は時系列データの見方お疲れ様でした! 33

34 社会人のためのデータサイエンス演習第 3 週 : 分析の具体的手法第回 : 時系列データの見方講師名 : 今津義充 3

35 第 3 週の内容紹介第回クロス集計の軸設定と見方第回散布図と相関の調べ方第 3 回相関関係と因果関係の違い第回時系列データの見方第回時系列データの分解の方法 3

36 3 月 3 月月 7 月月月月 3 月月 7 月月月月 3 月月 7 月月月時系列データとは時間とともに変動する事象に対して時間の順序で測定観測して記録したデータを時系列データという月別の売上日ごとの株価時間別のアクセス数気温心電図ある変量と時間の軸で示す変量変量 3 月月月月月ある変量の大きさ時間 ( 秒分時日月四半期等 ) 36

時系列データの分解の方法で説明 ) 精緻な時系列データ分析有用な施策立案実行が可能的確な目標設定

37 時系列データ分析の目的時系列データ分析の目的は過去データから変化の法則性を捉え将来の予測を行うこと時系列データ分析は将来予測に留まらず過去の施策効果測定などにも利用されるケースがある ( 第回 : 時系列データの分解の方法で説明 ) 精緻な時系列データ分析有用な施策立案実行が可能的確な目標設定 /KPI 指標作り生産管理の見直しや組み換え効果的な広告販促活動の促進未来を予測するために過去を活用する! 37

38 時系列データの構成要素とは時系列データは 3 つの変動要因に分解できる要素を分解することにより過去の傾向を数式や値で表すことが可能になる過去の傾向を表した数式や値があればこれらをもとに将来の予測を立てることが可能になる傾向循環変動 (Trend) (Cycle) 時間上昇や下降を示す長期的な変動及び景気循環などの数程度の周期変動時系列データ季節変動 (Seasonal) 季節毎に繰り返されるヶ月を周期とする変動時間時間不規則変動 (Irregular) 上記では説明がつかない不規則な変動時間 38

39 実際に時系列データを見てみよう出典 : 総務省家計消費状況調査結果グラフは平成 7 ~ 平成 6 までの世帯当たりのか月間のエアコンディショナの支出額を月別に示したもの周期的な傾向や推移がみられるが読み取りが難しいので分解を実施 3 3 平成月 ( 円 ) 世帯当たりか月間の支出 : エアコンディショナ全国 ( 二人以上の世帯 ) 3

40 時系列データを分解してみるとこの間エアコンディショナの支出額は右肩上がりでかつ 7 月 ~8 月に支出が増えていることがわかる傾向変動平成月 ( 円 ) 季節変動 - - 平成月周期 ( 円 ) データを分解することでよりクリアに解釈できる! 間でみると支出額は増加傾向だったのか夏は支出が増えていたのか傾向循環変動季節変動

41 次回のテーマ次回は時系列データの分解の方法お疲れ様でした!

42 社会人のためのデータサイエンス演習第 3 週 : 分析の具体的手法第回 : 時系列データの分解の方法講師名 : 今津義充

43 第 3 週の内容紹介第回クロス集計の軸設定と見方第回散布図と相関の調べ方第 3 回相関関係と因果関係の違い第回時系列データの見方第回時系列データの分解の方法 3

44 各変動の算出方法時系列データを 3 つの変動の組み合わせとして考える時系列データ = 傾向循環変動 + 季節変動 + 不規則変動 TC S I 上記は加法モデルだがこの他に時系列データをつの変動の積と考える乗法モデルがある

45 各変動の算出方法のプロセス 3 つのステップで 3 つの変動を求める傾向循環変動 TC 季節変動 S を求めてから不規則変動 I を求める Step 傾向循環変動 TC の算出元データヶ月移動平均傾向循環変動 TC 算出 Step 季節変動 S の算出元データ同時点平均季節変動 S 算出 Step3 不規則変動 I の算出元データ傾向循環ーー季節変動 S = 変動 TC 不規則変動 I

46 Step 傾向循環変動 TC の算出方法傾向循環変動 TC を移動平均を用いて算出する考え方傾向循環変動 TC は元データから季節変動 S と不規則変動 I を取り除けば良い季節変動 S はカ月の平均を取れば打ち消されると考える不規則変動 I も上記の平均により打ち消されると考える元データヶ月移動平均傾向循環変動 TC 算出 3~ 月次データヶ月移動平均

47 Step 季節変動 S の算出季節変動 S を同時点平均を用いて算出する考え方季節変動 S はによる違いを除いた各月の値として示されるため異なる同じ月の値の平均値を季節変動 S とする元データ同時点平均季節変動 S 算出 3~ 月次データ同時点 ( 時期 ) での平均

48 Step3 不規則変動 I の算出不規則変動は傾向循環変動でも季節変動でもないもの不規則変動を求めるには元データから傾向循環変動 TC と季節変動 S の差を取る Step で算出した傾向循環変動 TC 元データ Step で算出した季節変動 S 元データヶ月移動平均同時点平均傾向循環変動 TC 算出季節変動 S 算出 Step3 元データ傾向循環ーー季節変動 S = 変動 TC 不規則変動 I 8

49 不規則変動の解釈イレギュラーな施策出来事と関連付ける不規則変動は突発的出来事自然災害景気の短期的変動などが影響しており説明するのは困難であるといわれているただし人為的作為的な要因とは関連付けて分析することもできる広告投下キャンペーン実施不祥事発覚月月 7 月月月月 7 月月月月 7 月月 3

50 3 月月 3 月月月 6 月 7 月 8 月月月月月月月 3 月月月 6 月 7 月 8 月月月月月月月 3 月月月 6 月 7 月 8 月月月月月時系列データの落とし穴トレンドは右肩上がり? 6 この時点でトレンドが異なる 8 6 横ばい右肩上がり時系列データを分析する際にはデータ特性を見極めることも重要

51 次週のテーマ次週はビジネスにおける予測と分析結果の報告お疲れ様でした!

講座内容第 1 週データサイエンスとは第 2 週分析の概念と事例ビジネス課題解決のためのデータ分析基礎 ( 事例と手法 )1 第 3 週分析の具体的手法ビジネス課題解決のためのデータ分析基礎 ( 事例と手法 )2 第 4 週ビジネスにおける予測と分析結果の報告ビジネス課題解決のためのデー

講座内容第 1 週データサイエンスとは第 2 週分析の概念と事例ビジネス課題解決のためのデータ分析基礎 ( 事例と手法 )1 第 3 週分析の具体的手法ビジネス課題解決のためのデータ分析基礎 ( 事例と手法 )2 第 4 週ビジネスにおける予測と分析結果の報告ビジネス課題解決のためのデー社会人のためのデータサイエンス演習第 2 週 : 分析の概念と事例第 1 回 :Analysis( 分析 ) とは講師名 : 今津義充 1 講座内容第 1 週データサイエンスとは第 2 週分析の概念と事例ビジネス課題解決のためのデータ分析基礎 ( 事例と手法 )1 第 3 週分析の具体的手法ビジネス課題解決のためのデータ分析基礎 ( 事例と手法 )2 第 4 週ビジネスにおける予測と分析結果の報告ビジネス課題解決のためのデータ分析基礎