Microsoft PowerPoint - 統数研シンポジウム_R_ ppt

Size: px

Start display at page:

Download "Microsoft PowerPoint - 統数研シンポジウム_R_ ppt"

しおりえいさか
9 years ago
Views:

1 でデータハンドリング ~ データフレーム 30 分クッキング ~

2 本日のメニューデータフレームとはデータフレームの作成データハンドリングの方法と例 2

3 データフレームとは統計解析を行うデータの形式は様々 ( R 上で ) データを手で入力してテキストファイル,EXCEL,ACCESS,SAS などの形式 R でデータ解析を行う際は, データフレームという形式にデータを変換することが多い ( 見た目は行列 ) EXCEL: シート ACCESS: テーブル SAS: データセット 3

4 データフレームとは数値ベクトルや文字ベクトル, 因子ベクトルなどの異なる型のデータをまとめてもつ変数外見は行列と同じ各列の要素の型はバラバラでも構わないデータフレームの各行各列はラベルを必ず持ち, ラベルによる操作が可能 4

5 本日のメニューデータフレームとはデータフレームの作成データハンドリングの方法と例 5

6 データフレームの作成 R でベクトルデータを作成した後, データフレームを作成 ( いわゆる手入力 ) 性別身長体重データをベクトルで用意した後, 関数 data.frame() で1つのデータフレームに変換するファイルからデータを読み込んで, データフレームを作成関数 read.table() などでファイルからデータを読込パッケージ RODBC の関数 odbcconnectxxxxx() でデータファイルにアクセスした後, 関数 sql.query() でファイルからデータを読込 6

7 データフレームの作成 ( 手入力 ) data.frame() 7

8 データフレームの閲覧データフレームの中身を確認したいときは R のコンソール画面で R 標準のデータエディタで ( データを見ながらの作業不可) relimp パッケージのテキストウインドウでコンソール上データエディタテキストウインドウ 8

9 データフレームを作成すると 9

10 データフレームの作成 (.txt ) 関数 read.table などでテキストファイルからデータを読み込むことが出来る data04.txt 10

11 データフレームの作成 (RODBC) パッケージ RODBC の中の関数 odbcconnectxxxxx でデータファイルにアクセスした後, 関数 sql.query でファイルからデータを読み込むことが出来る他にも ORACLE のデータベースや, その他のデータ形式ファイル (DBASE,MySQL,PostgreSQL) からデータフレームを作成することもできる 11

12 データフレームの作成 (foreign) パッケージ foreign の中には, 外部データを読み込むための関数が多数用意されている data.restore read.dbf read.dta read.epiinfo read.mtp read.octave read.spss read.ssd read.systat read.xport 12

13 データフレームの作成 (foreign) SPSS データを R に読み込む例 SAS データを R に読み込む例 13

14 本日のメニューデータフレームとはデータフレームの作成データハンドリングの方法と例 14

15 データハンドリング例 ( 導入 ) Aさん~D 女史 ( 変数はNAME) の 4 人に, やせ薬 (GROUP==Active) か偽薬 (GROUP==Placebo) を投薬する投薬してから1 日目 (DAY==1)~3 日目 (DAY==3) に体重を測定する体重は, 午前 (KG_AM) と午後 (KG_PM) の1 日 2 回測定する 15

16 データハンドリング例 ( 導入 ) データの形式は EXCEL 体重に関するデータとグループに関するデータの 2 つまずは 2 つのデータセットを R に読み込ませる data1.xls データフレーム x1 に data2.xls x2 に 16

17 データハンドリング例 (1) 読み込み 17

18 18 データハンドリング例 (2)

19 19 データハンドリング例 (3)

20 20 データハンドリング例 (4)

21 データハンドリング例 ( 目的は ) 3 日目の体重の平均と 1 日目の体重の平均の変化量が -2kg 未満の人を抽出する 21

22 22 データハンドリング例 (5)

23 データハンドリング例 (6) 23

24 データハンドリング例 (7) 24

25 データハンドリング例 (8) 25

26 データハンドリング例 (9) 26

27 データハンドリング例 (10) 27

28 本日のメニューデータフレームとは統計解析を行うためのデータの形式見た目は行列でも使い勝手が良いデータフレームの作成手入力でもデータの読み込み可だけど外部データ ( テキストファイル, EXCEL,ACCESS, SAS, ) からでも読み込み可データハンドリングの方法と例 RODBC を使ったデータ読み込みの例を紹介データのマージ, ソート, 変数追加, 変数削除, データの横展開, 条件抽出の例を紹介 28

29 おまけ実務で R にデータを読み込む際 1 EXCEL RODBC でデータフレームにする 2 EXCEL CSV に変換関数 read.table() でデータフレームにする 2' 他のアプリテキストデータ関数 read.table() でデータフレームにする 3 SAS xpt に変換 read.xport() でデータフレームにする (SAS でできないことを R にさせるという意図 ) 4 SQL でデータベースにも直接アクセスできるはず 5 XML でデータを入力, 出力させることもできるはずデータがちゃんと入力されているかを確認する方法は? データフレームから抜き取りとか要約統計量とか次元の数と一番右下のセルに値が正しく入っているかを確認欠測の数を数える EXCEL に出力して比較 ( コンペア ) する R から折り返しはきだし,SAS 上で比較 ( コンペア ) する 29

30 参考文献 & 謝辞参考文献 THE R BOOK 4 章 ( 岡田昌史他 ; 九天社 ) データ解析環境 R 5 章 ( 舟尾, 高浪 ; 工学社 ) パッケージ RODBC foreign のヘルプ発表資料作成の際にお世話になった人北西由武さん ( 塩野義製薬 ) 高浪洋平さん ( 武田薬品工業 ) 30

31 でデータハンドリング ~ データフレーム 30 分クッキング ~ 終

32 でデータハンドリング ~ ここからはおまけ ~

33 作業ディレクトリの変更ファイルからデータを読み込むにはまず, データがあるディレクトリ ( フォルダ ) に作業ディレクトリを変更する次に, 関数 read.table() などでファイルからデータを読み込むファイルからデータやプログラムを読み込んだり, ファイルにデータを書き出したりする場所を作業ディレクトリという指定したディレクトリに指定した作業ディレクトリにデータがセーブされたり,R 用エディタなどが保存されるようになる 33

34 作業ディレクトリの変更 (Windows) [ ファイル ] の [ ディレクトリの変更 ] を選択 [Browse] をクリックして, 変更先のディレクトリを選択 34

35 作業ディレクトリの変更 (Mac OS X) [ その他 ] の作業 [ ディレクトリの変更 ] を選択変更先のディレクトリを選択 35

36 テキストファイルデータフレーム (1) 列名がなく, データ間がスペースで区切られている場合 R が勝手に列名を決めている data01.txt 36

37 テキストファイルデータフレーム (2) 列名があり, データ間がスペースで区切られている場合 data02.txt 37

38 テキストファイルデータフレーム (3)1 行目にコメント,2 行目に列名があり, データ間がスペースで区切られている場合 data03.txt 38

39 テキストファイルデータフレーム (4) 列名があり, データ間がコンマで区切られている場合 data04.txt 39

40 テキストファイル EXCEL 目的は関数 read.csv() で読み込める形式にすること ( 前節の data04.txt の状態 ) まず,EXCEL ファイルを開き, メニューの [ ファイル ] の [ 開く ] から,[ 名前をつけて保存 ] を選択する保存する名前をつけた後, 次に [ ファイルの種類 ] から [CSV カンマ区切り ] を選択して保存する 40

41 テキストファイル EXCEL Windows 版 R の場合別名で保存 CSV( カンマ区切り ) で保存 41

42 テキストファイル EXCEL Mac OS X 版 R の場合別名で保存 CSV( カンマ区切り ) で保存 42

43 テキストファイル EXCEL (4 ) 列名があり, データ間がコンマで区切られている場合 data04.csv 43

44 テキストファイル EXCEL (5) 列名がなく, データ間がコンマで区切られている場合 data05.csv 44

45 データフレームの作成 EXCEL のセルをコピー & ペースト Windows 版の場合は, 列名をコピーしてもしなくてもよい 45

46 データフレームの作成 EXCEL のセルをコピー & ペースト Mac OS X 版の場合は, 列名をコピーしてはいけない 46

47 SAS XML R(1) パッケージ XML と SASXML を使用する ( 作者 :Duncan Temple Lang 氏 <[email protected]>) まず,SAS データセット XML に変換する 47

48 SAS XML R(2) 次に XML R へ読み込むパッケージ SASXML の中に入っているソース eventsas.s,sas.s,sasdataset.r を実行するその後, 以下を実行する 48

49 < 寄り道 > R XML R 49

50 < 寄り道 > R から SAS を操作する関数 system() を用いる + SAS の出力 50

51 < 寄り道 > SAS から R を操作する x コマンドを用いて DOS を起動し,R を実行する + R の出力 51

52 データへのアクセス方法 (1) x[2], x[[2]] x[c(1, 2)] x[c(3, 4), ] x[,c(t,f,t)] x[sex=="f", ] コマンド x$ 列名,x[ 列名 ], x[[" 列名 "]] x[3, 2], x[[3, 2]] x[[3," 列名 "]], x[[3," 列名 "]] x[,sex=="f" & WEIGHT>50 ] 機能指定した列データを表示 2 番目の列データを表示 3 行 2 列目のデータを表示指定した列の 3 行目のデータを表示 1 列目と 2 列目のデータを表示 3 行目と 4 行目のデータを表示論理ベクトル c(t,f,t) が TRUE となっている列を表示性別が F( 女性 ) である行を表示性別が F( 女性 ) かつ体重が 50kg より大きい行を表示 52

53 データへのアクセス方法 (2) データフレーム [ 行番号, 列番号 ] で指定するデータフレーム x 53

54 データへのアクセス方法 (3) データフレーム $ 列名で指定するデータフレーム x 54

55 データの加工抽出 (1) コマンド ncolx nrowx namesx rbindxy cbindxy data.framexy mergexy 機能 x の列数 ( 変数の数 ) を求める x の行数 ( データ数 ) を求める x の列名を表示する x と y を縦に並べて結合する x と y を横に並べて結合する x と y を横に並べて結合する x と y を併合 ( マージ ) する. 通常は引数に all=t を指定し, データを全て残す.all=T を指定しなければデータの共通部分が結果として返される. 55

56 データの加工抽出 (2) コマンド head(xn=a) tail(xn=b) na.omit(x) transform(xy= ベクトル ) subset(x 条件式 ) subset(x 条件式ベクトル ) 機能先頭から a 行だけ抽出する末尾から b 行だけ抽出する NA を含む行を削除するデータフレーム x に新たな列 y を追加する条件式に合う行のみを抽出するベクトルで指定した列に対し, 条件式に合う行のみを抽出する 56

57 57 データのマージ + +

58 データのソート (2 変数のソート ) 58

59 欠損の扱い (1) 手入力でデータフレームを作成する場合で欠損が含まれているデータを読み込む場合は, ベクトル中の欠損部分を NA としておけば, 該当部分に欠損値 (NA) が入る. 59

60 欠損の扱い (2) ファイルからデータを読み込む場合で欠損が含まれているデータを読み込む場合は, データ間がコンマで区切られている方が処理しやすい. この場合, 単に欠損部分を空白にしておけば, 該当部分に欠損値 (NA) が入る. data06.txt 60

61 でデータハンドリング終