Rで項目反応理論、テキストマイニング、Rの研修やってますという三題噺

Size: px

Start display at page:

Download "Rで項目反応理論、テキストマイニング、Rの研修やってますという三題噺"

れれもてぎ
7 years ago
Views:

1 33 Tokyo.R R (IRT) R ( )

2 1 4 (UNIX / Linux ) ( ) 2002 Linux OSS TEX IDE 2

3 2 Tokyo.R (Excel) SAS SPSS JMP AMOS MATLAB Octave R ( R ) R 3

4 3 (IRT) R IRT Twitter Streaming API R R ( ) R 4

5 1 5

6 4 IRT ( ) 正答率とあるテストの項目特性曲線 (2PL) Q3 Q4 Q2 Q1 Q 理解度とあるテストのテスト情報曲線 (2PL) 情報量とあるテストの項目情報曲線 (2PL) Q3 Q2 Q1 Q4 Q 理解度とあるテストの受講者能力分布 (2PL) ( ) before:... ( ) after: 情報量理解度密度理解度 6

7 5 R IRT 1 RjpWiki ( ) ltm irtoys / 0, (2010) (2011) (...) plot Q1,Q2,Q3,Q4,Q5 0,1,0,0,0 1,1,0,1, library(irtoys) data <- read.csv("hoge.csv",header=t) # ltmans <- ltm(data z1,irt.param=true) # ltmscore <- factor.scores(ltmans,method="eb") # trfans <- est(data,model="2pl",engine="ltm") trfscore <- trf(trfans$est) # ltminfo <- information(ltmans,c(-1,1)) 7

8 6 R IRT 2 4 (ICC) ( ) S... # plot.ltm(ltmans,...) # plot.ltm(ltmans,type="iic",...) # plot.ltm(ltmans,type="iic",items=0,...) # plot(trfscore,...) # print(ltmans,quote=f) print(ltminfo,quote=f) Dffclt Dscrmn Q Q Q Q Q Information in (-1, 1) = 0.48 (25.2%) 8

..) # print(ltmans,quote=f) print(ltminfo,quote=f) ---------- ---------- Dffclt Dscrmn

9 2 9

10 7 Twitter ラピュタ行く T 2013/08/02 23:15 言う接近 ww 緊急事態時間待つ明日前 Twitter 何 w 人名言笑人人 TL Y w 厂俺今日 TL ダウン来る絶対人がゴミのようだバルス祭りY 思う私呟くバル今目見るシータ wwww ( 笑 ) フォロ対決発生人間ツイートサーバーパズームスカゴミ (... ) 10

11 8 Twitter Twitter Streaming API R TwitteR Ruby : require time require rubygems require tweetstream SEP="\t" TweetStream::Client.new.sample do status if status.user.lang == "ja" dt = Time.parse("status.created_at") text = status.text.gsub("\n", " ") puts("#{dt}#{sep}#{status.user.screen_name}#{sep}#{text}") end end 11

$parse("status.created_at") text = status.text.gsub("\n", " ") puts("#{dt}#{sep}#{status.$

12 9 Twitter 1 wordcloud : blogspot.jp/2011/07/ word-cloud-in-r.html R MeCab RMeCab at<-read.delim("hoge.txt",...) at$time<-as.posixct(at$time, format="%y-%m-%d %H:%M") at$tweet<-as.character(at$tweet) x<-0; y<-" :00" # tn<-as.posixct(y,format="%y-%m-%d %H:%M") while (x <= 1440) { # if(!length(subset(at$tweet,at$time==tn))==0){ write.table(subset(at$tweet,at$time ==tn),file="tmp.txt",quote=f,row.names=f, col.names=f) # MeCab rt<-rmecabfreq("tmp.txt") 12

character(at$tweet) x<-0; y<-"2013-08-02 00:00" # tn<-as.posixct(y,format="%y-%m-%d %H:%M") while (x <= 1440) { # if(!

13 10 Twitter 2 Twitter mecab-dic-overdrive Wikipedia : mecab-dic-overdrive part_rt <-rt[(rt$info1==" " rt$info1==" " rt$info1==" " rt$info1==" ") &!rt$info2==" " & (!rt$term=="rt" &!rt$term==".co" &!rt$term=="http" &!rt$term=="www") & rt$freq > 15,] # 1 15 if(nrow(part_rt)>=1){ # pallet<-brewer.pal(8,"dark2") # wordcloud(part_rt$term,part_rt$freq, scale=c(5,2),max.words=inf,random.order=t, random.color=f,colors=pallet) } } x<-x+1; tn<-tn+60 } 13

$rt$term=="www") & rt$freq > 15,] # 1 15 if(nrow(part_rt)>=1){ # pallet<-brewer.$

14 3 14

15 11 R Hadoop KVS UBS51L R R R 1 R ( ) R 15

16 12 R R

●70974_100_AC009160_KAPヘ<3099>ーシス自動車約款（11.10）.indb

●70974_100_AC009160_KAPヘ<3099>ーシス自動車約款（11.10）.indb " # $ % & ' ( ) * +, -. / 0 1 2 3 4 5 6 7 8 9 : ; < = >? @ A B C D E F G H I J K L M N O P Q R S T U V W X Y " # $ % & ' ( ) * + , -. / 0 1 2 3 4 5 6 7 8 9 : ; < = > ? @ A B