1,a) 1 1 1 1 2 Kinect Support System for Romaji Learning through Exercise Abstract: Education with information devices has been increasing over the years. We propose support system for Romaji learning through exercise with Kinect for elementary school students in the lower grades. The proposed system supports that students study Romaji by writing alphabet in the air. We had some elementary school students operate the system and confirmed that they studied Romaji merrily and learned new Romaji. 1. PC (ICT ) [1][2]. Kinect [3] 1 Graduate School of Informatics and Engineering, The University of Electro-Communications 2 Interdisciplinary Faculty of Science and Engineering, Shimane University a) yawata-k@igo.cs.uec.ac.jp 2 3 4 5 6 c 2014 Information Processing Society of Japan 1
2. ICT [4]. 2 ICT ICT [5]. Kinect LeapMotion[6][7]. 1 3 40 69 [3] 3. Kinect Kinect. 3.1 [8] Stivick Asher [9][10] 3.2 4 3 [11] 4. 4.1 Kinect 1 c 2014 Information Processing Society of Japan 2
( 3 ) ( 4 ) 1 4.2 Kinect SVM Zinnia Zinnia x y Zinnia S 2 DB Zinnia 2 ( 1 ) ( 2 ) ( 3 ) Kinect ( 4 ) ( 5 ) [12][13][14][15] Kinect for Windows SDK Kinect for Windows Developer Toolkit Zinnia OpenCV OpenCV 2 ( 1 ) ( 2 ) 4.3 3 ( 1 ) 3 ( 2 ) 4 ( 3 ) 5 ( 4 ) 6 ( 5 ) 3 7 ( 6 ) 8 9 ( 7 ) 10 c 2014 Information Processing Society of Japan 3
情報処理学会研究報告 図 3 図 4 図 5 学習開始時 問題表示 図 6 図 7 認識結果を表示 文字を書く 図 11 文字を書き終える 図 8 文字消去直前 れる 図 12 ( 8 ) その後 解答の正誤判定が行われ または が表示さ c 2014 Information Processing Society of Japan 4
情報処理学会研究報告 図 9 文字消去 図 12 図 13 解答の正誤表示 各アルファベットの認識率 実験を行った アルファベット 26 文字の 5 回入力を 1 セッ トとして 3 セットを学生 8 人に行わせた 図 13) 平均認識率は 91.38 であったが a m s などのいくつ かのアルファベットは平均を大きく下回る値を示した 原 図 10 解答入力終了 因としては文字認識エンジンの学習不足 Kinect の骨格検 出による誤入力が考えられる a と m は前者 s は後者で あるとみられる 前者はより多くの学習データを文字認識 エンジンに読み込ませる 後者はシステムへの慣れで改善 できると考えられる Kinect は手が身体の前を通過する際 骨格の検出が正し く行われない場合がある また 手が腰よりも下に位置す る 手の平が下を向いている際 手の開閉の認識が正しく 行われない場合がある s を入力する際 書き終わりで手 の平が下を向いてしまい 手の開閉が検出されず余分な線 が入力されることが実験中に多く見られた 骨格の検出は 手を身体からできるだけ離す 手の開閉は手の平を Kinect へ向けることである程度改善が可能である 5.2 児童によるシステムの利用 図 11 自分の入力した文字が表示 提案システムを実際に小学生に使用させた 実験は小学 2 年生 1 人 小学 4 年生 4 人の合計 5 人で行った また 5. 実験と評価 5.1 認識率 システム使用の前後でペーパーテストを実施し システム の利用による影響を確認した 実験時間はおよそ 1 時間 30 提案システムが 実際にアルファベットを認識できるか c 2014 Information Processing Society of Japan 5
14 15 1 ( 1 ) ( 2 ) ( 3 ) ( 4 ) 16 50 20 3 14 A 2 4 4 3 3 2 A 1 15 A D 1 6. 2 Kinect v2 [1] Leap Motion,, pp. 239-243 (2014). [2] c 2014 Information Processing Society of Japan 6
,, pp. 185-188 (2014). [3] N. Akazawa, Y. Takei, M. Suzuki, Y. Nakayama, and H. Kakuda : Trial of Learning Support System using Kinect in After School Care Programs, Journal of Information Processing, Vol. 22 (2014). [4] [online] http://www.mext.go.jp/b menu/shingi/chousa/shougai /030/toushin/1346504.htm. [5] IT [online] http://www.kantei.go.jp/jp/singi/it2/decision.html. [6] Microsoft : Kinect for Windows [online] http://www.microsoft.com/en-us/kinectforwin dows/default.aspx. [7] Leap Motion [online] https://www.leapmotion.com. [8] (2001). [9] Asher and J. J. : The Total Physical Response Approach to Second Language Learning, The Modern Language Journal, Vol. 53, No. 1, pp. 3-17 (1969). [10] Stevick, E. W : aching and Learning Languages, Cambridge University Press (1982). [11] Q&A http://www.mext.go.jp/a menu/shotou/newcs/qa/02.htm. [12] Microsoft : Downloads and documents for Kinect developers(online) http://www.microsoft.com/en-us/kinectforwin dows/develop/downloads-docs.aspx. [13] OpenCV [online] http://opencv.org/. [14] [onlne] http://kgxpx834.blog58.fc2.com/blog-entry- 19.html. [15] Zinnia.OnlineHandRecognitionSystemwithMachine Learning[onlne] http://zinnia.sourceforge.net/index.html. c 2014 Information Processing Society of Japan 7