Microsoft PowerPoint _Rセミナー_配布用.pptx

Size: px

Start display at page:

Download "Microsoft PowerPoint _Rセミナー_配布用.pptx"

あつひろしもね
5 years ago
Views:

1 般社団法情報サービス産業協会主催 Rstudio によるデータハンドリング ( データ集計データ可視化 ) のご紹介 2017 年 11 27

2 紹介 truestar 鈴貴学部時代は洋近代史を学ぶ好きな歴史上の物はユリウスカエサル 2017 年 3 筑波学ビジネス科学研究科経営システム科学専攻 ( 修課程夜間 ) 修了現在, 同学院の博課程在籍中現在,truestar において, 広告投資と売上の関係を説明する新しい法を検討中 1

3 本の流れなぜ R を使うのかなぜデータハンドリングが必要か総務省家計調査をいた R によるデータハンドリングのデモ年明け以降のセミナーの概要アンケート記と質疑応答 2

4 本の流れなぜ R を使うのかなぜデータハンドリングが必要か総務省家計調査をいた R によるデータハンドリングのデモ年明け以降のセミナーの概要アンケート記と質疑応答 3

5 R とは何でしょう? 統計分析向けプログラミング語無料 4

6 R あれこれ R 本体 R の本体これだけでも分使可能 R コマンダープログラミング無しで R の部機能を使えるようにしたソフト Rの統合開発環境 Rを使いやすくする通常はRstudioをいる 5

7 R 無料 R の本体これだけでも分使可能 6

8 R コマンダー無料プログラミング無しで R の部機能を使えるようにしたパッケージ 7

9 RStudio 無料 Rの統合開発環境 Rを使いやすくする通常はRstudioをいる 8

10 なぜ R を使うのかデータ分析に使いたいから 9

11 なぜ R を使うのか多様な統計分析をおこなえる集計作図のプロセスもおこなえるプログラムコードを残せるため, 再現性がある機能にも関わらず無料で使うことができる本語で情報が取得できる 10

12 なぜ R を使うのか 1: 多様な統計分析をおこなえる々世界中で新たなパッケージが開発され,R の機能は進化し続けている (R は統計分析のスタンダード ) 多種多様な統計分析をおこなうことができる 11

13 なぜ R を使うのか 2: 集計作図のプロセスもおこなえるデータ分析の流れデータ可視化データ集計統計分析データ分析の程の 6 8 割はデータの集計可視化といったデータハンドリングのプロセス Rは集計可視化も得意( 後ほどデモいたします ) Rを使えば, 全程含めた気通貫したデータ分析が可能 12

14 なぜRを使うのか3: 再現性繰り返しに強い Rはプログラミングコードを残せる繰り返しに強いデータをれかえれば, 他の分析に流できる分析ミスがあった場合に追跡可能実際のデータ分析は繰り返しが多数起こるため, 上記は常に切データが間違っていたデータ範囲を変えて再分析同じ形式のデータが毎来るデータ集計データ可視化統計分析 13

15 なぜ R を使うのか 4: 機能にも関わらず無料で使うことができる統計分析ソフトで有名な IBM SPSS の価格は数万円 R は無料なので, 機能追加があっても問題なし SPSS は更新に費がかかる R は無料だが, 信頼性は問題ないオープンゆえに, 間違いがあったらすぐに修正される新パッケージの場合は検証が不分というも学術論にも多数使されている 14

16 なぜ R を使うのか 5: 本語で情報ができる R は統計分析におけるスタンダードな存在なので, 本語書籍ウェブ情報が豊富 15

17 なぜ R を使うのか :R 以外のソフトウェアは? R SPSS Excel 価格無料数万円 1 万円操作法プログラミングマウス操作学習コストデータ前処理図化統計分析 ~ 複雑な分析や繰り返し処理をしないなら Excel ある程度複雑な分析をおこないたいが, プログラミングは避けたいなら SPSS 分析に留まらずシステム開発も含めるなら python 16

18 本の流れなぜ R を使うのかなぜデータハンドリングが必要か総務省家計調査をいた R によるデータハンドリングのデモ年明け以降のセミナーの概要アンケート記と質疑応答 17

19 データ分析の流れデータ可視化データ集計統計分析提データ分析の程の 6 8 割はデータの集計可視化といったデータハンドリングのプロセスけれども普通, 興味があるのは提と統計分析 18

20 R で学ぶに書いてあることデータ可視化データ集計統計分析提 R で学ぶという本はデータハンドリングができることが前提 19

21 統計分析と提だけに興味がある場合にありがちなプロセス R で重回帰分析をしたい! R による重回帰分析のやり ( のみ ) を覚えるデータを Excel で加 R で重回帰分析結果を Excel へコピペ回繰り返し疲弊ミス R によるデータハンドリングをに着ければ上記は避けられる 20

22 本来あるべきデータ分析の流れ 1 データ可視化データ集計統計分析提元に集まったデータは整理されていない複数ファイルに分散している場合が普通なので, データ分析ができる形式に整える必要がある本に載っているサンプルデータの場合は初めからデータが整っており, 省かれるプロセス 21

23 本来あるべきデータ分析の流れ 2 データ可視化データ集計統計分析提元に集まったデータの関係性を把握するには数字をるだけでは分からないので, グラフにして可視化する必要がこの段階でデータの異常に気づくことが多いので, かせないプロセス本に載っているサンプルデータの場合は省かれるプロセス 22

24 私がデータを触っていた時の実例コンビニ商材の CM 出稿量と売上の関係を分析していた時 200 A ビールの CM 出稿量ある時期から CM 出稿量がゼロになっていたが, 商品リニューアルによって, 商品コードが変わっただけで,A ビールの CM 出稿がなくなった訳ではなかったクライアントにデータを貰い直し, データ集計からやり直し 23

25 本来あるべきデータ分析の流れ 3 データ可視化データ集計統計分析提データ集計可視化をおこない, データについて理解を深めてから統計分析へ移る本に載っているサンプルデータの場合はデータが正しいことが前提なので, 初めからここから 24

26 本来あるべきデータ分析の流れ 4 データ可視化データ集計統計分析提統計分析を元に, 提をおこなう 25

27 Excel でデータハンドリングをおこなって,R で分析するのは? データ可視化データ集計統計分析提簡単な処理が数回程度なら Excel でも構わないそれが何回何百回となると?! Excel で扱えるデータは 100 万まで R は 100 万以上のデータを扱える R で気通貫したデータ分析をおこないましょう! 26

28 R によるデータハンドリングをにつければデータ集計データ可視化を R プログラミングによっておこなうことで, 正確性が増すと共に産性が向上 R プログラミングスキルが向上するので, 新しい統計分析の実装が早くなる統計分析は法ごとに必要なデータ構造や法が異なる R によるデータハンドリングをにつけましょう 27

29 本の流れなぜ R を使うのかなぜデータハンドリングが必要か総務省家計調査をいた R によるデータハンドリングのデモ年明け以降のセミナーの概要アンケート記と質疑応答 28

30 総務省家計調査データとは? 皆様に事前に配布したデータをExcelで開いてください開いた後に,Excel 形式で保存し直してください総務省家計調査とは? 全国の家計の収出貯蓄負債などを毎調査している県庁所在地 + 政令指定都市の物品の年間出額がわかる 29

31 総務省家計調査データとは? 都市別品 30

32 まずは Excel でデータハンドリングを体験お題 1 あなたは宇都宮市の観光課の職員ですぎょうざを観光に活かしたいと考えていますそこで, 家計調査掲載都市のぎょうざ購額をグラフ化し, 宇都宮市のち位置を把握してください Excel でやってみましょう! 31

33 グラフのイメージ Q: 家計調査掲載都市のぎょうざ購額をグラフ化し, 宇都宮市のち位置を把握してください ( 円 ) 3, ぎょうざ円 2,500 2,000 1,500 1, 宮崎市京都市津市市岐市佐賀市奈良市前橋市さいたま市静岡市松江市児島市阪市神市堺市東京都区部甲府市取市岡市松市川崎市全国新潟市福島市徳島市横浜市仙台市野市福井市崎市和歌市富市熊本市形市那覇市広島市千葉市森市知市津市福岡市松市名古屋市相模原市北九州市沢市盛岡市市札幌市分市秋市 32

34 ぎょうざの購額 1 位の都市は!? ( 円 ) 5,000 4, ぎょうざ円 4,000 3,500 3,000 2,500 2,000 1,500 1, 浜松市宇都宮市宮崎市京都市津市市岐市佐賀市奈良市前橋市さいたま市静岡市松江市児島市阪市神市堺市東京都区部甲府市取市岡市松市川崎市全国新潟市福島市徳島市横浜市仙台市野市福井市崎市和歌市富市熊本市形市那覇市広島市千葉市森市知市津市福岡市松市名古屋市相模原市北九州市沢市盛岡市市札幌市分市秋市宇都宮市はごくわずかに及ばず浜松市が 1 位 33

35 ぎょうざの購額 1 位の都市は!? ( 円 ) 371 ぎょうざ円ぎょうざの 5,000 4,000 3,000 2,000 1,000 0 浜松市宇都宮市全国購額なので, 外費は含んでいません宇都宮市はごくわずかに及ばず浜松市が 1 位 34

36 まずは Excel でデータハンドリングを体験お題 2 ぎょうざを観光に活かしたいと考えていましたが, 購額 1 位は浜松市でしたそこで, 観光に活かせる品を探さねばなりません各都市の中で宇都宮市がトップテンにる品をグラフ化してください Excel でやってみましょう! 35

37 お疲れ様でした分間の時間を取りましたが, いくつできたでしょうか? 宇都宮市がベスト 10 にる品は 692 品中 121 品あるので, 全て終わる時間を計算してください同じ作業を繰り返すことは常に変もし, 作業後にデータ差し替えなどがあったら? 36

38 R で同じことをやるには dplyr と ggplot2 というパッケージを使コードを書くのに合計 30 分使 R 実 37

39 R でデータ整形およびグラフによる可視化 dplyr というパッケージでデータ整形をおこなった後 ggplot2 というパッケージでグラフによる可視化できたグラフをていきましょう 38

40 R でデータ整形およびグラフによる可視化 : いちご 39

41 R でデータ整形およびグラフによる可視化 : いちご 40

42 VBA でプログラムを書けば良いのでは? R でデータ集計可視化をおこなえば, 統計分析まで気通貫して処理をおこなえるわざわざ VBA でデータハンドリングをおこなった後, R で統計分析をおこなうのではなく, 初めから R でやったが効率が良い 41

43 例えば, クラスター分析を実クラスター分析で各都市をグルーピングしたところ, 宇都宮市に最も近いのは前橋市という結果に 42

44 100 万を超えるビッグデータも R で処理可能 Excel では 100 万までしか開けないですが, R では 100 万を超えるデータも扱えます実際に 500 万のファイルを開いてみると 43

45 デモを通じてわかったことデータ集計データ可視化を R プログラミングによっておこなうことで, 正確性が増すと共に産性が向上 R プログラミングスキルが向上するので, 新しい統計分析の実装が早くなる統計分析は法ごとに必要なデータ構造や法が異なる R によるデータハンドリングをにつけましょう 44

46 本の流れなぜ R を使うのかなぜデータハンドリングが必要か総務省家計調査をいた R によるデータハンドリングのデモ年明け以降のセミナーの概要アンケート記と質疑応答 45

47 年明け以降のセミナーの概要セミナー当は説明 46

48 本の流れなぜ R を使うのかなぜデータハンドリングが必要か総務省家計調査をいた R によるデータハンドリングのデモ年明け以降のセミナーの概要アンケート記と質疑応答 47

49 質疑応答などアンケートのご協をお願い申しあげます本はありがとうございました 48

untitled

untitled (a)(b)(c) (d) - 1 - - 2 - - 3 - - 4 - - 5 - - 6 - - 7 - - 8 - - 9 - - 10 - - 11 - - 12 - - 13 - - 14 - - 15 - - 16 - - 17 - - 18 - - 19 - - 20 - - 21 - - 22 - - 23 - - 24 - - 25 - - 26 - - 27 - - 28 -