の 自 然 な 行 動 を 妨 げにくい. しかし,Won ら[2]が 指 摘 するように, 環 境 設 置 型 のセン サを 用 いる 手 法 でも, 行 動 のセンシングが 行 われていると いう 事 実 がユーザに 明 らかになるとストレスを 感 じさせて しまい, 円 滑 なコミュニケーショ

Transcription

1 情 報 処 理 学 会 インタラクション 2015 IPSJ Interaction INT /3/5 SenseChair による 会 話 者 間 の 同 調 傾 向 検 出 1 宮 崎 陽 平 1 伊 藤 雄 一 2 藤 原 健 3 高 嶋 和 毅 1 尾 上 孝 雄 概 要 : 我 々は,ユーザの 状 態 や 状 況 を,ユーザに 意 識 させることなくセンシングするために, 座 面 下 に 4 つの 圧 力 セ ンサを 備 え, 非 装 着 非 侵 襲 に 座 面 の 重 心 位 置 と 重 量 を 取 得 できる 椅 子 型 デバイス SenseChair を 実 装 し, 検 討 を 進 め ている. 本 稿 では,SenseChair を 複 数 台 用 いて, 着 座 しながら 会 話 をしている 会 話 者 の 身 体 的 な 同 調 傾 向 を 検 出 する 手 法 について 検 討 する.データ 取 得 をする 為 に, 実 際 の 会 話 場 面 を 想 定 した 実 験 を 行 った.SenseChair によって 得 ら れた 会 話 者 それぞれの 時 系 列 重 心 重 量 データに 窓 関 数 を 用 いて 周 波 数 解 析 し, 各 データにおける 周 波 数 成 分 の 時 間 変 化 を 求 め, 話 者 一 人 分 の 揺 動 の 周 波 数 成 分 の 時 間 変 化 を 抽 出 する.さらに, 会 話 者 全 員 が 揺 動 している 部 分 のみ 抜 き 出 すことで, 会 話 時 間 における 同 調 傾 向 値 を 抽 出 した. 実 際 の 会 話 場 面 を 設 定 し, 議 論 後 に 行 ったアンケート 調 査 の 結 果 と 同 調 傾 向 の 関 連 を 検 討 した 結 果, 同 調 傾 向 が 大 きいほど, 場 が 盛 り 上 がった, 課 題 に 夢 中 になった と 報 告 されていることが 明 らかになった.これにより, 会 話 者 の 着 座 時 揺 動 による 同 調 傾 向 の 検 出 ができる 可 能 性 が 示 された. A Method for Sensing Synchrony between Communicating Persons by SenseChair YOHEI MIYAZAKI 1 YUICHI ITOH 1 KEN FUJIWARA 2 KAZUKI TAKASHIMA 3 TAKAO ONOYE 1 Abstract: We have proposed the office chair-shaped sensing device, SenseChair that enables to unconsciously measure sitting body sway of a user by using four pressure sensors embedded inside its seat for estimation of user's situation and condition. In this paper, we propose a method to detect physical synchrony between multiple sitting users during a conversation by using multiple SenseChairs. We conducted a conversation experiment to acquire data. A short-time frequency analysis with Hanning window function was carried out on the detected body sway data to extract the short-time frequency data of each participants' body sway during the period of the experiment. We calculated the value of synchrony in the conversation from the sway data of when synchronized body sways of all participants' were detected. We found a positive relationship between the calculated synchrony and participants' subjective ratings by post-questions reflecting on their excitement and engagement during the conversation. This result suggests possibility of automatic detection of synchrony between multiple users from their synchronized sway behaviors. We also discussed further usage scenarios of SenseChairs that expands existing social awareness technologies. 1. はじめに 対 人 コミュニケーションに 関 する 研 究 は 古 くからなさ れており, 会 話 場 面 における 行 動 の 調 査 など, 実 際 の 会 話 を 解 析 することによる 様 々な 研 究 が 行 われてきた.これら は, 人 とのコミュニケーションを 円 滑 に 進 めたり, 組 織 を 円 滑 に 機 能 させるための 指 針 を 得 るのに 有 用 である. 他 方, 近 年 の 情 報 技 術 の 発 達 により,マイクや 赤 外 線 セ ンサなど 様 々なセンサを 用 いた 会 話 状 況 の 認 識 がなされ, 情 報 技 術 を 用 いたコミュニケーション 支 援 のための 研 究 が 盛 んに 行 われつつある[1].そういった 研 究 の 中 には, 表 情, 視 線 方 向, 会 話 音 量, 身 体 行 動 などの 非 言 語 情 報 に 注 目 し, これらの 情 報 を 用 いてコミュニケーションの 質 の 認 識 を 行 う 研 究 がある.これには 例 えば,Kinect を 用 いて 会 話 参 加 1 大 阪 大 学 Osaka University 2 大 阪 経 済 大 学 Osaka University of Economics 3 東 北 大 学 電 気 通 信 研 究 所 Research Institute of Electrical Communication, Tohoku University 者 の 各 身 体 部 位 の 座 標 点 から 関 節 の 角 度 を 計 測 し, 身 体 行 動 の 同 調 傾 向 を 求 める 研 究 がある[2].この 研 究 では, 得 ら れた 同 調 傾 向 と 会 話 中 に 生 み 出 された 創 造 性 の 量 と 質 につ いて 検 討 することで, 両 者 の 間 に 正 の 相 関 関 係 を 見 出 して いる.こうした 研 究 は, 身 体 行 動 の 同 調 傾 向 を 計 測 するこ とによって, 議 論 の 質 を 評 価 することができるシステムの 実 現 可 能 性 を 示 しているといえる. 情 報 技 術 を 用 いた 会 話 状 況 の 認 識 は, 会 話 者 や 環 境 をセ ンシングし,それらの 状 況 を 認 識 することでコンテキスト を 抽 出 する.センシング 手 法 は 主 に 2 種 類 に 分 けられ,ユ ーザが 装 着 したウェアラブルセンサを 用 いる 方 法 と 環 境 に あらかじめ 配 置 されたカメラやセンサを 用 いる 手 法 がある. ウェアラブルセンサを 用 いる 方 法 では, 環 境 に 設 置 する 方 法 に 比 べて, 会 話 者 の 移 動 や 動 きに 関 係 なく 常 時 計 測 でき る 利 点 があるが,センサの 脱 着 に 手 間 がかかるほか, 装 着 位 置 によってはユーザの 自 然 な 行 動 を 妨 げる 可 能 性 がある. これに 対 して 環 境 設 置 型 センサを 用 いる 方 法 では,センサ を 装 着 する 必 要 がないので, 脱 着 する 手 間 は 省 け,ユーザ 2015 Information Processing Society of Japan 47

2 の 自 然 な 行 動 を 妨 げにくい. しかし,Won ら[2]が 指 摘 するように, 環 境 設 置 型 のセン サを 用 いる 手 法 でも, 行 動 のセンシングが 行 われていると いう 事 実 がユーザに 明 らかになるとストレスを 感 じさせて しまい, 円 滑 なコミュニケーションを 阻 害 してしまう 可 能 性 がある.こうした 問 題 は, 例 えば 教 育 現 場 やパーティな ど, 短 時 間 の 中 でコミュニケーションの 活 性 化 が 優 先 され る 場 では 致 命 的 となり, 本 末 転 倒 な 結 果 をもたらしかねな い. 会 話 者 の 感 じるセンシングによるストレスを 可 能 な 限 り 小 さくし, 出 来 る 限 り 日 常 生 活 に 近 い 形 でセンシングす る 手 法 が 理 想 的 であるといえよう. そこで 我 々は, 圧 力 センサによって 装 着 者 の 重 心 重 量 の 時 系 列 的 な 変 化 を 計 測 できるオフィスチェア 型 デバイス SenseChair を 用 いた 会 話 状 況 の 認 識 手 法 を 提 案 し, 検 討 を 進 めている[3-5].SenseChair は, 図 1 に 示 すように, 座 り 心 地 や 見 た 目 は 一 般 的 なオフィスチェアと 変 わらず, 座 っ たユーザの 重 量 と 重 心 位 置 の 変 化 をセンシングできる 非 装 着 非 侵 襲 なセンシングツールである.そのため, 外 部 セ ンサを 会 話 場 に 設 置 する 必 要 がなく, 日 常 的 な 会 話 シーン と 何 ら 変 わらない 状 態 でのセンシングが 可 能 である.これ により,コミュニケーションを 阻 害 することなく 会 話 状 況 を 認 識 することが 可 能 となる.これまでの 検 討 では, 座 面 にかかる 重 量 と 重 心 位 置 の 時 間 変 化 が 着 座 姿 勢 の 特 徴 を 反 映 していることが 分 かっている.また, 頷 き 等 の 頭 部 運 動 やジェスチャ 等 の 身 体 行 動 といった,これまでの 研 究 で 会 話 状 況 を 取 得 するために 注 目 されてきた 指 標 も, 座 面 にか かる 重 心 や 重 量 変 化 にも 表 れる 可 能 性 がある. 本 稿 では,SenseChair を 用 いて, 着 座 状 態 のユーザ 同 士 を 対 象 に, 会 話 中 における 身 体 行 動 の 同 調 傾 向 を 検 出 する 手 法 について 検 討 する.SenseChair によって 得 られる 会 話 者 の 重 心 重 量 の 時 系 列 データから 揺 動 を 抽 出 し, 全 会 話 者 の 揺 動 を 重 ね 合 わせることで 身 体 行 動 の 同 調 傾 向 を 検 出 することを 試 みる.また, 実 際 のグループ 会 話 で 得 られた 身 体 行 動 の 同 調 傾 向 のデータと 会 話 者 の 内 観 報 告 との 関 連 についても 検 討 する. 最 後 にこの 技 術 を 用 いた 応 用 例 につ いて 述 べる. 2. 関 連 研 究 2.1 非 言 語 情 報 のセンシングによる 会 話 状 況 の 認 識 会 話 状 況 を 認 識 する 研 究 には, 一 般 的 にマイク,カメラ を 用 いて 音 量 や 韻 律,ジェスチャ, 視 線 方 向 などの 非 言 語 情 報 をセンシングすることが 一 般 的 である.それらのセン シング 手 法 は 主 に 2 種 類 分 けられ,ユーザにウェアラブル デバイスとしてセンサを 装 着 する 方 法 と 環 境 にあらかじめ 配 置 したセンサを 用 いる 手 法 がある. ウェアラブルデバイスを 用 いたセンシングの 方 法 では, ユーザの 移 動 に 関 係 なく 常 時 計 測 をすることが 可 能 である. 角 らは,マイク,アイマークレコーダ,モーションセンサ, 脈 拍 センサ 等 を 装 着 した 会 話 者 が,IMADE ルームと 呼 ば れる 部 屋 内 で 自 由 に 動 き 回 り,ポスター 発 表 等 の 共 同 作 業 を 行 う 際 のコミュニケーションの 分 析 を 行 っている[6]. Olguin らは 音 量, 加 速 度 センサ, 赤 外 線 センサを 搭 載 した デバイス Sociometric Badges を 開 発 し, 日 常 的 にそれを 着 けた 人 達 の 対 面 コミュニケーションや 位 置 関 係 などのデー タから 日 常 的 なコミュニケーション 能 力 の 評 価 を 行 ってい る[7].しかし,ウェアラブルデバイスを 装 着 した 手 法 は, デバイスの 脱 着 の 手 間 がかかる 場 合 があり, 装 着 位 置 によ ってはユーザの 自 然 な 行 動 を 妨 げる 可 能 性 がある. 環 境 にあらかじめ 配 置 したセンサを 用 いる 手 法 では,ウ ェアラブルデバイスを 用 いる 手 法 に 比 べ, 脱 着 の 手 間 がか からず,また,デバイスを 装 着 することによるユーザの 行 動 阻 害 が 生 じづらい.Kennedy らは,マイクを 環 境 に 設 置 することで, 音 の 高 さからミーティングの 中 で 重 要 な 会 話 を 切 り 出 すシステムを 提 案 した[8].Wrede らは,マイクに よって 会 話 時 の 発 生 に 韻 律 的 な 特 徴 を 捉 え, 会 話 内 の 盛 り 上 がりを 検 出 する 手 法 を 提 案 した[9].Stiefelhagen らは,カ メラを 会 話 場 に 設 置 し, 画 像 データから 頭 部 方 向 を 捉 え, さらに 視 線 方 向 の 推 定 を 行 って 会 話 構 造 のモデル 化 をして いる[10]. 大 塚 らは,ビデオの 視 線 から 話 し 手 と 聞 き 手 の 構 造 化 をした[11]. 熊 野 らは, 表 情 の 認 識 をすることでグ ループミーティング 内 での 対 人 感 情 分 析 を 行 った[12]. Won らは,Kinect で 議 論 中 の 会 話 者 の 身 体 の 各 関 節 の 同 調 傾 向 (Synchrony)を 測 定 し, 議 論 の 末 に 生 み 出 した 発 想 の 量 と 質 (Creativity)との 関 連 を 検 討 することで, 身 体 行 動 の 同 調 傾 向 と 議 論 の 質 に 正 の 相 関 があることを 示 した[2]. このように,これまでの 研 究 では, 環 境 にセンサを 設 置 して 会 話 状 況 を 解 析 するシステムの 提 案 は 様 々になされて いる. 先 にも 指 摘 したように,センシングされているとい う 事 実 が 自 明 になるとユーザにストレスを 与 え, 円 滑 なコ ミュニケーションを 阻 害 してしまう 可 能 性 があるため, 可 能 な 限 り 日 常 生 活 に 近 い 状 態 でのセンシング 手 法 の 実 現 が 望 まれる. 本 研 究 ではこれを 目 指 し, 話 し 合 いの 場 で 日 常 的 に 利 用 される 椅 子 によるセンシングに 着 目 する. 2.2 椅 子 型 デバイスを 用 いたユーザ 状 況 取 得 手 法 会 話 状 況 の 認 識 において, 椅 子 型 デバイスによるセンシ ング 手 法 は 非 常 に 有 効 であると 考 えられる. 椅 子 は, 日 常 生 活 に 馴 染 みのある 存 在 であり,その 存 在 はユーザにスト レスを 与 えない.ミーティングや 議 論 などでは, 椅 子 に 座 って 会 話 をすることは 極 めて 自 然 であるため,ユーザの 日 常 的 なコミュニケーションの 姿 や 様 子 をセンシング 可 能 で あると 考 えられる.また,ウェアラブルデバイスとは 異 な り, 椅 子 から 立 ち 上 がるだけで 脱 着 が 可 能 となり, 日 常 的 に 利 用 する 際 の 利 便 性 も 高 いと 考 えられる. 着 座 中 のユーザの 状 況 を 認 識 する 方 法 としては, 椅 子 に 埋 め 込 んだセンサを 用 いる 方 法 が 一 般 的 である. 伊 藤 は 車 内 シートに 圧 力 センサを 設 置 し,ドライバの 足 の 位 置 や 状 2015 Information Processing Society of Japan 48

3 況 を 推 定 している[13].デスクワーク 中 のユーザを 対 象 と したものでは, 椅 子 と 机 に 計 970 個 の 圧 力 センサを 設 置 し た 環 境 で, 椅 子 や 机 の 振 動 からユーザの 動 作 を 識 別 する 方 法 が 検 討 されている[14].Tan らは 家 庭 やオフィスの 椅 子 を 想 定 し, 座 面 と 背 もたれにかかる 圧 力 分 布 を 2016 個 (42 x 48)の 圧 力 センサで 取 得 し, 着 座 姿 勢 を 識 別 する 方 法 を 提 案 している[15]. 身 体 の 傾 きや 足 を 組 むなど 14 種 の 姿 勢 識 別 に 関 しては,デバイス 利 用 の 訓 練 をしたユーザで 96 %, 未 訓 練 のユーザで 79 %の 識 別 率 が 示 されている.Multu らは, Tan らが 用 いた 姿 勢 をより 少 ないセンサ 数 で 識 別 している [16].Vanhala らは, 高 感 度 感 圧 センサを 椅 子 に 設 置 して, コンピュータエージェントの 表 情 変 化 に 対 するユーザの 体 動 の 変 化 を 調 べている[17].このように 座 面 や 背 もたれの 圧 力 分 布 はユーザの 行 動 および 姿 勢 の 推 定 に 有 効 であると 考 えられる. 我 々はこれまで, 座 面 にかかる 重 心 位 置 と 重 量 をセンシ ングできる 椅 子 型 デバイス SenseChair を 提 案 し, 姿 勢 識 別 や 個 人 識 別 の 方 法 を 検 討 してきた[3-5]. 他 の 椅 子 型 デバイ スを 用 いたユーザ 状 態 認 識 手 法 に 比 べてセンサ 数 が 少 なく, 設 置 や 導 入 にかかるコストが 小 さいという 利 点 があり,シ ステムを 日 常 的 な 利 用 を 実 現 する 可 能 性 が 極 めて 高 い.ま た,センサの 設 置 位 置 に 関 して 複 雑 な 計 算 を 必 要 としない. 過 去 の 検 討 から, 座 面 にかかる 重 量 と 重 心 位 置 の 波 形 が, ユーザの 着 座 姿 勢 や 個 人 の 座 り 方 の 特 徴 をよく 反 映 してい ることが 分 かっている[3-5].また, 頷 き 等 の 頭 部 運 動 やジ ェスチャ 等 の 身 体 行 動 も 座 面 にかかる 重 心 や 重 量 変 化 に 表 れると 考 えられるため,SenseChair を 用 いて 会 話 状 況 をセ ンシングすることも 十 分 可 能 であると 考 えられる. 本 稿 で は, 椅 子 の 座 面 にかかる 重 量 と 重 心 位 置 のデータから 身 体 行 動 の 同 調 傾 向 を 取 得 する 方 法 を 検 討 する. 3. SenseChair を 用 いた 会 話 者 の 同 調 傾 向 検 出 3.1 オフィスチェア 型 デバイス SenseChair SenseChairの 仕 様 について 説 明 する. 概 要 を 図 1に 示 す. SenseChairは, 座 面 下 の4 隅 に 圧 力 センサを 持 ち, 座 面 にかか る 重 量 と 重 心 位 置 をリアルタイムに 最 大 100Hzで 取 得 できる. 重 心 位 置 は, 重 心 のX 座 標 ( 椅 子 の 正 面 から 左 右 に 延 びる 方 向 ) とY 座 標 ( 椅 子 の 正 面 方 向 )からなる.SenseChairから 得 られる 重 心 位 置 をX[cm]とY[cm], 重 量 変 化 をW[kg]として 利 用 する. 使 用 している 圧 力 センサはミネベア 製 のストレインゲージ 式 フォースセンサである.これは 定 格 容 量 が50kgであるので, 成 人 男 性 が 着 座 する 場 合, 一 つ 一 つのセンサに 集 中 して 圧 力 がかかりすぎることを 防 ぐ 必 要 があり, 圧 力 センサを 設 置 す る 面 は 水 平 か つ 均 一 な 高 さ に す る 必 要 が あ る. そ こ で SenseChairは, 図 2に 示 すように 厚 さ5mmの 鉄 板 2 枚 を 組 み 込 み, 圧 力 センサを 挟 むような 配 置 で 圧 力 センサを4 隅 に 装 着 す ることで,センサを 水 平 に 固 定 しつつ 圧 力 を 適 度 に 分 散 して, 椅 子 にかかるユーザの 体 重 を 全 て 計 測 している. 組 み 込 まれ た 圧 力 センサから 得 られた 信 号 は 制 御 基 板 に 送 られ,ブリッ ジ 回 路 によりノイズ 除 去 を 行 った 後, 約 300 倍 に 増 幅 される. 増 幅 された 信 号 はBluetoothを 使 ってPCに 送 信 される.センサ の 信 号 を 取 得 する 制 御 基 板 は, 鉄 板 と 座 面 を 支 えている 高 さ 調 節 機 構 のための 金 型 との 間 に 取 り 付 けているが, 鉄 板 は Bluetoothの 電 波 を 遮 断 するため,Bluetoothの 端 子 のみ, 通 信 可 能 な 程 度 に 露 出 させている. 3.2 会 話 者 の 同 調 傾 向 検 出 SenseChair を 用 いた 会 話 状 況 のセンシング 手 法 を 検 討 す るにあたり, 我 々はユーザの 同 調 傾 向, 特 に 行 動 の 同 期 性 に 着 目 する. 行 動 の 同 期 性 とは 身 体 行 動 の 同 調 傾 向 の 一 つ であり, 人 はコミュニケーションする 際 に 相 手 の 身 体 的 な 動 きを 潜 在 的 に 模 倣 するというもので, 会 話 がスムーズに 行 われるとき, 人 は 相 手 の 動 きを 無 意 識 的 に 模 倣 し 同 調 す るという 現 象 のことを 言 う[18]. 同 調 傾 向 を 検 出 すること で, 会 話 内 の 協 調 性 の 評 価 や 議 論 から 生 み 出 された 創 造 性 の 評 価 まで 可 能 であると 考 えられている[2]. 我 々は, SenseChair を 用 いて 座 った 状 態 で 会 話 する 人 の 重 心 位 置 と 重 量 のデータを 取 得 し 解 析 することで, 身 体 行 動 の 同 調 傾 向 を 抽 出 することを 試 みる. 4. 実 験 Fig.1 図 1 SenseChair の 概 要 Overview of SenseChair. Fig.2 図 2 SenseChair の 構 成 Configuration of SenseChair Information Processing Society of Japan 49

4 本 稿 では SenseChair の 取 得 データから 同 調 傾 向 を 捉 える ために, 複 数 のグループによる 15 分 間 のチームワーク 課 題 実 験 を 行 った. 実 験 課 題 は 議 論 で 生 み 出 された 創 造 性 評 価 も 行 えるように 意 見 発 散 型 の 議 題 を 採 用 した. 意 見 発 散 型 の 課 題 では 時 間 内 に 協 力 して 議 題 について 考 え 込 む 必 要 が あるので, 会 話 内 で 複 数 人 が 同 調 傾 向 を 示 す 時 間 帯 とそう でない 時 間 帯 が 明 確 に 分 かれると 考 えられる. 4.1 実 験 参 加 者 環 境 同 性 同 士 の 3 人 1 組 による 会 話 を 行 った. 実 験 参 加 者 は 大 学 生,または 短 大 生 の 42 名 ( 平 均 年 齢 20.21±0.79 歳 )で あり, 内 訳 は, 男 性 21 名 ( 平 均 年 齢 19.95±0.71 歳 ) 女 性 21 名 ( 平 均 年 齢 20.48±0.76 歳 )であった. 会 話 場 所 は 日 常 的 に 授 業 や 会 議 等 で 使 用 される 約 30 m2(10m 3m)の 教 室 で, 部 屋 の 中 央 部 に 丸 机 ( 半 径 約 30cm, 高 さ 約 80cm)を 配 置 し, 机 の 周 りに 120 の 等 間 隔 で SenseChair を 3 台 配 置 して 着 座 させた.より 日 常 に 近 い 自 然 な 形 での 会 話 環 境 を 形 成 する ために 椅 子 の 固 定 は 行 わず, 背 もたれと 椅 子 の 回 転 も 固 定 しなかった. 4.2 データ 取 得 会 話 中 の 非 言 語 行 動 会 話 中 は,SenseChairによる 全 参 加 者 の 時 系 列 重 心 重 量 デ ータの 取 得 を 行 った.データ 取 得 時 の 周 波 数 は25Hzで 行 った. これは, 人 の 生 理 的 現 象 である 震 え の 主 要 周 波 数 が10Hz 程 度 であることが 分 かっており[19], 会 話 中 の 体 動 は 震 え よりも 低 い 周 波 数 で 構 成 されると 考 えたためである.25Hzの データでは,フーリエ 変 換 時 に12.5Hzまでの 周 波 数 成 分 の 抽 出 が 可 能 となるので,25Hzによるデータ 取 得 で 着 座 時 の 揺 動 を 十 分 にセンシング 可 能 であると 考 えた.SenseChairによるデ ータ 取 得 と 同 時 に, 実 験 参 加 者 には 目 立 たないように 置 いた ビデオカメラによって, 参 加 者 の 動 きと 会 話 音 声 を 記 録 した 質 問 紙 参 加 者 の 会 話 やSenseChairに 対 する 印 象 を 評 価 するために, 課 題 後, 実 験 後 アンケートへの 回 答 を 参 加 者 に 求 めた. 実 験 後 アンケートは,7 段 階 のリッカート 尺 度 (1: 全 く 当 てはまら ない~7: 非 常 に 当 てはまる)の6 項 目 で 構 成 した. 質 問 項 目 を 以 下 に 示 す. [ 話 に 対 する 質 問 項 目 ] Q1. 課 題 中 は, 場 が 盛 り 上 がった. Q2. 課 題 に 夢 中 になった. Q3. 会 話 はしにくいものであった. Q4. 会 話 に 緊 張 を 伴 うものだった. なお, 参 加 者 同 士 があらかじめ 知 り 合 いで 親 しかった 場 合, 初 対 面 同 士 の 参 加 者 よりもアンケートに 対 して 肯 定 的 に 回 答 すると 考 えられた.そこで, 実 験 参 加 前 の 親 しさについて,7 段 階 のリッカート 尺 度 (1: 全 く 親 しくない~7:とても 親 しい) へも 回 答 を 求 めた. 4.3 実 験 手 順 参 加 者 には,まず, 入 室 した 後 に 実 験 者 が 課 題 内 容 とルー ルを 説 明 し 同 意 書 に 記 入 を 求 めた.そしてSenseChairとカメラ による 記 録 を 開 始 したうえで,15 分 間 の 議 論 を 開 始 させた. 議 論 終 了 後, 実 験 後 アンケートに 回 答 するよう 求 めた. 課 題 は 出 来 る 限 り 多 く,レンガの 使 い 方 を 挙 げよ とし た.これは 意 見 発 散 型 の 課 題 であり, 個 人 やグループの 議 論 の 創 造 性 を 評 価 する 際 に 用 いられる 議 題 である[21].グルー プ 内 のチームワークのみで 議 論 をさせるため, 議 論 中 はメモ 書 きや 情 報 端 末 等 の 道 具 の 使 用 を 禁 止 し, 立 ち 上 がって 風 景 を 見 て 外 部 刺 激 を 受 ける 等 の 行 為 も 禁 止 した.なお, 自 然 な コミュニケーションを 促 すため, 参 加 者 には 椅 子 によってセ ンシングされているという 事 実 を 実 験 前 には 伝 えなかった. 5. データ 解 析 5.1 会 話 時 間 内 での 時 系 列 同 調 傾 向 データの 算 出 得 られた 時 系 列 重 心 重 量 データを 解 析 する 前 に, 危 険 度 を5%として,ノイズにより 生 じた 外 れ 値 を 除 去 した. 外 れ 値 除 去 にはスミルノフ グラブス 検 定 を 用 いた[22]. 除 去 した データには, 外 れ 値 処 理 した 後 の 平 均 値 を 代 入 することで, 時 系 列 データの 個 数 を 保 持 した. 解 析 では, 得 られた 時 系 列 重 心 重 量 データを 短 時 間 ごと に 周 波 数 解 析 し, 時 系 列 振 幅 スペクトルを 特 徴 量 として 用 い た.これには, 先 行 研 究 [5]において, 着 座 者 の 状 態 変 化 は 着 座 揺 動 の 大 きさや 周 期 性 にみられることが 分 かっており,こ こで 得 られた 知 見 が 本 研 究 にも 利 用 できると 考 えたためであ る.3 人 分 の 時 系 列 重 心 重 量 変 化 のデータに 窓 関 数 を 用 いて 短 時 間 フーリエ 変 換 をすることで, 時 系 列 振 幅 スペクトルデ ータを 算 出 した.この 時, 窓 関 数 にはハニング 窓 を 用 い, 約 10 秒 間 分 の256 個 のデータを 抽 出 してフーリエ 変 換 を 行 った. その 際 に,255 個 の 重 複 をしながらずらして 計 算 し,0-12.5Hz の 時 系 列 振 幅 スペクトルのデータを 得 た. 短 時 間 ごとにフー リエ 変 換 をすることで, 時 系 列 振 幅 スペクトルと 時 系 列 位 相 スペクトルが 得 られる.ある 周 波 数 帯 域 での 位 相 の 時 間 変 化 が 一 致 していても, 振 幅 スペクトルが 小 さければ 着 座 者 はそ の 周 波 数 帯 の 振 動 をほとんどしていないことに 等 しくなると 考 え, 我 々は 振 幅 スペクトルにのみ 注 目 した. 次 に, 会 話 者 1 人 につき 得 られたX Y Wの3つの 時 系 列 振 幅 スペクトルデータを 正 規 化 し, 重 ね 合 わせ 計 算 を 行 って 会 話 者 1 人 分 の 揺 動 を 表 す 時 系 列 振 幅 スペクトルデータを 作 成 した. 正 規 化 計 算 は, P = P / max(p) (1) とした.ここでPは 同 時 刻 における 振 幅 スペクトルであり,P は 取 得 した 全 会 話 14 組 内 の 各 要 素 における 振 幅 スペクトルの 全 集 合 とする.これは 揺 動 する 方 向 によって 各 要 素 に 影 響 を 与 える 振 幅 値 にはばらつきが 生 じると 考 えられる. 各 要 素 の 最 大 の 振 幅 は 全 会 話 内 で 生 じた 最 大 の 振 れ 幅 であり, 各 振 幅 スペクトルデータを 割 る 事 で 要 素 ごとのスケールを 統 一 でき 2015 Information Processing Society of Japan 50

5 ると 考 えた.これにより,X Y Wのデータの 特 徴 差 を 取 り 除 いて 解 析 を 行 う 事 が 可 能 となる. 次 に, 重 ね 合 わせ 計 算 を した. 振 幅 スペクトルPを, P = max(p X, P Y, P W ) (2) とした.ここで P X P Y P W はそれぞれ 対 応 する X Y W の 同 時 刻 における 振 幅 スペクトルのことである.これに より, 重 心 か 重 量 のいずれかの 振 幅 スペクトルが 高 ければ それを 観 察 でき, 参 加 者 が 何 らかの 揺 動 を 起 こしたと 判 断 できる.これを 会 話 者 1 人 の 揺 動 データとした. 最 後 に, 参 加 者 3 人 分 の 揺 動 データを 乗 算 して 3 人 の 同 調 傾 向 の 時 系 列 振 幅 スペクトルデータとした.その 際,ある 時 刻 にお けるある 周 波 数 の 振 幅 値 P は, P = P A P B P C (3) とした.ここでP A, P B, P C は 参 加 者 それぞれの 揺 動 データであ る.こうすることで, 参 加 者 全 員 が 同 時 に 揺 動 を 起 こしてい る 周 波 数 成 分 のみが 抽 出 されると 考 えた.これで, 会 話 内 で 参 加 者 全 員 が 揺 動 した 時 の 周 波 数 成 分 のみが 算 出 され, 同 調 傾 向 データが 取 得 される. 5.2 会 話 グループごとの 同 調 傾 向 盛 り 上 がりの 算 出 次 に, 各 会 話 の 同 調 傾 向 の 頻 度 を 表 す 同 調 傾 向 値 の 算 出 を 行 う. 前 章 では 会 話 内 での 同 調 傾 向 を 算 出 するために,X Y Wの 振 幅 がかかる 方 向 に 関 係 なく, 会 話 内 での 揺 動 の 周 波 数 的 な 同 調 を 抽 出 する 処 理 を 行 った.しかし, 盛 り 上 がりや 協 力 姿 勢 があったかどうかなどの, 会 話 間 でコミュニケーショ ンの 特 徴 を 比 較 するためには, 方 向 的 な 特 徴 が 関 与 してくる と 考 えられる. 例 えば, 頷 きや 前 かがみなどは 前 後 方 向 に 強 く 影 響 する 動 きである 笑 いなどは 重 力 方 向 に 強 く 影 響 する 動 きであると 考 えられ, 方 向 的 な 特 徴 の 一 致 を 考 慮 する 必 要 が あると 考 えた.そこで, 式 (1)と 式 (3)を 利 用 して,X Y Wそ れぞれの 会 話 者 間 の 振 幅 の 一 致 度 を 算 出 し, 同 時 刻 帯 におけ る 各 周 波 数 帯 域 における 振 幅 の 総 和 を 算 出 し,その 平 均 値 を 出 した.こうすることで, 得 られた 同 調 傾 向 値 の 振 幅 の 濃 淡 を 三 つの 変 数 で 表 すことができる. 得 られたX Y Wのそれ ぞれの 同 調 傾 向 値 がアンケート 結 果 を 導 く 説 明 変 数 となるよ うに, 重 回 帰 分 析 を 行 う. 6. 結 果 と 考 察 ここで,ある 会 話 グループ(8 組 目,13 組 目 )から 得 られた 会 話 時 間 内 の 同 調 傾 向 値 を 図 3に 示 す.ヒートマップとなってお り, 色 が 赤 に 近 いほど 会 話 参 加 者 が 一 致 した 振 幅 が 大 きく, 青 に 近 いほどほど 振 幅 が 小 さい. 撮 影 した 動 画 と 比 較 した 結 果, 例 えば 盛 り 上 がって 参 加 者 全 員 が 揺 動 を 起 こすシーンで は 画 像 上 の 縦 筋 として 可 視 化 されており, 全 員 が 沈 黙 したり 一 人 だけが 話 したりしている 場 合 には 参 加 者 全 員 の 揺 動 が 発 生 せず, 青 色 に 近 い 縦 筋 が 見 られることが 確 認 できた. 図 示 したグループ 以 外 の 他 グループでも 同 様 の 結 果 が 見 られるこ とから, 会 話 時 の 時 系 列 重 心 重 量 データを 短 時 間 フーリエ 変 換 して, 振 幅 スペクトルの 時 系 列 データを 算 出 した 後, 参 加 者 間 での 振 幅 スペクトルが 大 きいタイミングを 時 系 列 で 比 較 することで, 揺 動 による 同 調 傾 向 の 検 出 が 可 能 であること が 示 唆 された. 次 に 会 話 時 間 全 体 でみたときの, 各 グループにおけるX Y Wの 同 調 傾 向 値 と, 得 られた 実 験 後 アンケートの 結 果 を 表 1に 示 す. 実 験 後 アンケートの 結 果 には, 各 グループ 内 の 会 話 者 の 回 答 の 平 均 を 利 用 した.これらの 関 連 を 検 討 するために, 重 回 帰 分 析 を 行 った.ただし,XとYの 同 調 傾 向 値 で 相 関 係 数 が 高 く(r =.76, p =.01), 多 重 共 線 性 が 生 じる 可 能 性 があった ため,まずX Y Wを 用 いて 主 成 分 分 析 を 行 うこととした. 主 成 分 分 析 の 結 果 を 表 2に 示 す. 第 1 主 成 分 ではすべて 同 方 向 で 重 みも 大 きく, 総 合 的 な 同 調 傾 向 を 反 映 していると 考 えられる.これに 対 して 第 2 主 成 分 で は,Wの 重 みが 大 きいことから, 重 量 変 化 における 同 調 傾 向 を 反 映 していると 考 えられる. 得 られた 主 成 分 得 点 を 用 いて 重 回 帰 分 析 を 行 った. 結 果 を 表 3に 示 す.なお, 参 加 者 同 士 の 事 前 の 親 しさは, 統 制 変 数 として 説 明 変 数 に 投 入 した. 重 回 帰 分 析 の 結 果, Q1. 課 題 中 は, 場 が 盛 り 上 がった や Q2. 課 題 に 夢 中 になった については, 第 2 主 成 分 ( 重 量 変 化 の 同 調 傾 向 を 反 映 した 成 分 )が 有 意 に 正 の 影 響 を 与 えてい た.また Q3. 会 話 はしにくいものであった については, 第 1 主 成 分 ( 総 合 的 な 同 調 傾 向 を 反 映 した 成 分 )が 負 の 影 響 を 与 える 傾 向 がみられた.これらの 結 果 は, 同 調 傾 向 が 多 い 会 話 ほど, 盛 り 上 がっており, 参 加 者 が 夢 中 になっていたこと 図 3 8 組 目 と 13 組 目 の 同 調 傾 向 Fig.3 Synchrony of Group 8 and Group Information Processing Society of Japan 51

6 表 1 X Y Wの 同 調 傾 向 値 とアンケート 調 査 の 結 果 Table.1 Result of XYW synchrony value and questionnaire form 同 調 傾 向 [db] アンケート 調 査 会 話 組 X Y W Q1. Q2. Q3. Q4. 盛 り 上 会 話 の 夢 中 度 緊 張 度 がり しづらさ 1 組 目 組 目 組 目 組 目 組 目 組 目 組 目 組 目 組 目 組 目 組 目 組 目 組 目 組 目 を 示 している. 心 理 学 の 分 野 では, 話 者 間 が 親 密 で 会 話 に 満 足 を 感 じているときほど, 姿 勢 の 一 致 や 身 体 的 な 同 調 がみら れると 言 われている.その 知 見 を 支 持 する 結 果 になったと 考 えられる. また, 今 回 の 実 験 結 果 からは, 第 2 主 成 分,つまり 重 量 変 化 の 同 調 傾 向 が 場 の 盛 り 上 がりに 影 響 することが 明 らかになっ た.これは, 実 験 に 用 いた 課 題 が 意 見 発 散 型 の 課 題 であり, それぞれの 参 加 者 に 考 え 込 むことを 求 めるものであったため に, 前 後 左 右 への 大 きな 揺 動 が 生 じにくかったのかもしれな い.カメラや 赤 外 線 センサといった 環 境 設 置 型 のセンシング デバイスでは 視 覚 的 には 変 化 がないような 微 細 な 揺 動 の 同 調 傾 向 を 捉 えにくい 可 能 性 を 考 えると, 自 然 な 重 量 変 化 を 捉 え る こ と の で き る 椅 子 型 の セ ン シ ン グ デ バ イ ス で あ る SenseChairだからこそ 認 識 できた 同 調 傾 向 であり, 場 の 盛 り 上 がり 認 知 との 関 連 であるということができると 考 える. 今 回 の 実 験 から 得 られた 結 果 を 基 準 として, 今 後 は 課 題 を 変 更 す るなどして,さらなる 検 討 を 行 っていくことが 必 要 である. 今 回 の 実 験 では, 背 もたれや 回 転 を 固 定 せず 立 ち 上 がる 行 為 以 外 は 自 由 にしてもよいという 条 件 で 行 い, 実 験 中 には 膝 を 組 んだり, 椅 子 を 回 転 させたりしている 参 加 者 も 見 られた が, 上 記 のように 同 調 傾 向 と 参 加 者 の 内 観 アンケートの 値 に 相 関 を 確 認 することができた.これは,このデバイスは 日 常 生 活 で 利 用 する 制 約 は 少 なく, 日 常 的 に 利 用 できる 可 能 性 が 大 きいと 考 えられる. 一 方 で, 先 述 の 通 り 今 回 の 実 験 課 題 は 参 加 者 に 考 え 込 むことを 求 めるもので 前 後 左 右 への 大 きな 揺 動 が 生 じくいものであった 可 能 性 があるので,より 一 般 的 な 使 用 可 能 性 を 示 すためには, 今 後 は 今 回 とは 異 なる 方 向 性 の 課 題 を 用 いて 検 討 していく 必 要 がある. 表 2 X Y Wの 同 調 傾 向 値 についての 主 成 分 分 析 Table.2 The principal component of XYW synchrony value 第 1 主 成 分 第 2 主 成 分 X Y Z 固 有 値 累 積 寄 与 率 表 3 同 調 傾 向 値 が 会 話 の 評 価 に 与 える 影 響 Table.3 The influence of synchrony on the evaluation of conversation Q1. Q2. Q3. Q4. 盛 り 上 がり 夢 中 度 会 話 しづらさ 緊 張 度 事 前 の 親 しさ.64 * 第 1 主 成 分 第 2 主 成 分.60 *.75 * R 2.45 *.41 * Note. 回 帰 係 数 は 標 準 化 済 みである. 7. 応 用 例 本 稿 で 検 討 した 同 調 傾 向 の 検 出 は, 会 話 の 定 量 的 な 評 価 や グループ 内 のコミュニケーション 支 援 など 様 々な 分 野 に 応 用 できると 考 えられる. 例 えば 会 話 時 間 内 の 同 調 傾 向 値 を 用 い れば, 会 話 の 定 量 的 評 価 によって 会 話 の 盛 り 上 がった 時 間 帯 を 検 出 可 能 になることから, 会 議 の 議 事 録 作 成 の 際 に, 会 話 内 容 だけではない 盛 り 上 がりを 記 録 した 議 事 録 を 作 成 できる. 従 来 の 議 事 録 は 発 言 内 容 のみを 記 したものであり, 一 見 する と 会 話 の 活 性 度 等 は 知 ることができず,どの 時 間 帯 の 発 言 が 場 の 同 調 を 生 み 出 すようなものだったのか 等 を 知 ることはで きない. 盛 り 上 がった 会 話 箇 所 やムードが 悪 くなった 箇 所 を 議 事 録 から 知 ることができれば,どの 参 加 者 がいつ 話 した 内 容 が 他 の 参 加 者 に 響 いたのか,また, 会 議 そのものの 質 の 判 断 が 可 能 となり, 議 事 録 の 新 たな 可 能 性 を 見 出 す 事 ができる と 考 えらえる. また, 会 話 全 体 の 同 調 傾 向 から 盛 り 上 がりを 評 価 する 手 法 では,その 同 調 傾 向 を 求 める 組 み 合 わせのバリエーションを 変 えることで,パーティなどの 最 中 に 一 番 同 調 していた 人 を 見 つけ 出 すことができる. 同 調 傾 向 が 他 者 よりも 多 く 生 じて いた 相 手 とは 少 なからず 会 話 がスムーズに 弾 みやすいと 考 え られることから,この 人 たちをピックアップし 紹 介 すること で,パーティ 後 のコミュニケーションを 無 理 なく 活 性 させる といった 支 援 システムも 実 現 可 能 になると 考 えられる.この ように, 実 際 には 目 で 分 からなくても 座 面 にかかる 重 心 重 量 の 同 調 傾 向 を 取 得 して,カメラや 音 声 で 他 人 が 測 る 事 がで 2015 Information Processing Society of Japan 52

7 きない 内 面 的 な 感 情 を 予 測 し,コミュニケーション 支 援 に 用 いることができると 考 えられる. 8. 今 後 の 予 定 本 稿 では, 同 調 傾 向 値 と 会 話 参 加 者 の 主 観 評 価 との 関 連 を 調 査 したが, 今 後 は, 内 観 評 価 だけでなくビデオ 評 定 による 盛 り 上 がり 度 合 いの 調 査 やアイデアとして 述 べられた 提 案 数 などの 会 話 の 客 観 評 価 との 関 連 を 調 査 し, 結 果 のより 高 い 信 頼 性 を 検 証 していく.また, 実 験 参 加 者 を 増 やし, 意 見 集 中 型 の 課 題 などに 課 題 変 更 をして 実 験 を 行 うことで,SenseChair によるデータから 検 出 可 能 な 新 たな 指 標 を 模 索 していく. 9. おわりに 本 稿 では,SenseChair を 用 いて 座 面 にかかる 重 心 重 量 に 基 づき 着 座 者 の 会 話 中 における 同 調 傾 向 を 取 得 する 手 法 を 提 案 した. 提 案 した 手 法 によって 導 かれる 会 話 時 間 内 に おける 同 調 傾 向 は, 実 際 の 状 況 と 比 較 した 所, 同 調 傾 向 を 示 していることが 確 認 された.また, 集 団 ごとの 同 調 傾 向 値 と 議 論 課 題 後 のアンケート 結 果 について 重 回 帰 分 析 を 行 った 結 果, 場 の 盛 り 上 がり や 課 題 に 夢 中 になった 程 度 を 定 式 化 できることが 分 かった. 今 後 は 課 題 を 変 更 した り, 実 験 参 加 者 を 増 やすなどして, 得 られた 結 果 の 信 頼 性 を 検 証 していく. 参 考 文 献 1) Olguin, D. O., Waber, B. N., Kim, T., Mohan, A., Ara, K., Pentland, A.: Sensible Organizations: Technology and Methodology for Automatically Measuring Organizational Behavior; IEEE Transactions on systems, man, and cybernetics, Vol. 39, No. 1, pp.43-55, ) A.S.Won, J.N.Bailenson,S.C.Stanthatos,and W. Dai. Automatically Detected Nonverbal Behavior Predicts Creativity in Collaborating Dyads, Journal of Nonverbal Behavior, Vol.38, doi s , ) 池 田 和 章, 伊 藤 雄 一, 中 島 康 祐, 尾 上 孝 雄, 様 々な 椅 子 での 重 心 重 量 による 姿 勢 識 別 率 に 関 する 検 討,ヒューマンインタフェ ース 学 会 研 究 報 告 集,Vol. 13,pp , ) 池 田 和 章, 伊 藤 雄 一, 中 島 康 祐, 尾 上 孝 雄, 着 座 時 の 座 面 重 心 と 重 量 を 用 いた 個 人 識 別 に 関 する 検 討, 電 子 情 報 通 信 学 会 技 術 研 究 報 告, 信 学 技 報, Vol. 112,No. 221,pp , ) 宮 崎 陽 平, 伊 藤 雄 一, 中 島 康 祐, 尾 上 孝 雄, SenseChair を 用 い た 眠 気 検 出 に 関 する 検 討, インタラクショ 2014 論 文 集 情 報 処 理 学 会 2014,A0-3,pp , ) 角 康 之, 矢 野 正 治, 西 田 豊 明, マルチモーダルデータに 基 づい た 多 人 数 会 話 の 構 造 理 解, 社 会 言 語 科 学 14(1), pp , ) D. Olguin, and A. S. Pentland. Sensor-based organisational design and engineering, Int. J. Organisational Design and Engineering, Vol. 1, No. 1/2, pp ) L. Kennedy and D. Ellis. Pitch-based emphasis detection for characterization of meeting recordings. In Proc. of IEEE workshop on Automatic Speech Recognition and Understanding (ASRU '03), pp , ) B. Wrede and E. Shriberg. Spotting Hot Spots in meetings: human judgments and prosodic cues. In Proc. of 8th European conference on speech communication and technology (Eurospeech '03), pp , ) R. Stiefelhagen, J. Yang, and A. Waibel. Modeling focus of attention for meeting indexing based on multiple cues. IEEE Transaction on Neural Networks, Vol. 13, No. 4, pp , ) K. Otsuka, H. Sawada, and J. Yamato. Automatic interface of cross-modal nonverbal interactions in multiparty conversation. In Proc. of International Conference on Multimodal Interfaces (ICMI '07), pp , ) S. Kumano, K. Otsuka, D. Mikami, and J. Yamato. Recognaizing communicative facial expressions for discovering interpersonal emotions in group meetings. In Proc. of International Conference on Multimodal Interfaces (ICMI '09), pp , ) M. Itoh, Human monitoring-based driving support. In Proc. of the World Congress of the International Federation of Automatic Control (IFAC), pp , ) 斉 藤 昇, 澤 井 章 代, 森 武 俊, 佐 藤 知 正, センサデスクを 用 い た 机 上 作 業 の 認 識, 日 本 機 械 学 会 ロボティクス メカトロニク ス 講 演 会 講 演 論 文 集, 2A1, pp , ) Z. H. Tan, A. L. Slivovsky, and A. Pentland, A sensing chair using pressure distributionsensors. IEEE/ASME Transactions on Mechatronics, Vol. 6, no. 3, pp , ) B. Mutlu, A. Krause, J. Forlizzi, C. Guestrin, and J. Hodgins, Robust, low-cost, nonintrusive sensing and recognition of seated postures. In Proc. of User interface software and technology 2007., pp , ) T. Vanhala, V. Surakka, and J. Anttonen, Measuring bodily responses to virtual faces with a pressure sensitive chair. In Proc. of NordiCHI2008, pp , ) A. S cheflen, The significance of posture in communication systems., Psychiatry, Vol. 27, pp , ) 坂 本 和 義, 清 水 豊, 水 戸 和 幸, 高 野 倉 雅 人, 生 体 のふるえと 振 動 知 覚 メカニカルバイブレーションの 機 能 評 価 バイオメカ ニズム 学 会, 東 京 電 機 大 学 出 版 局, ) F. Bernieri, J. S. Davis, and J. E. Grahe, Dyad rapport and the accuracy of its judgment across situations: A lens model analysis, J. of Personality and Social Psychology, vol. 71, no. 1, pp , ) J. P. Guilford, The nature of human intelligence. New York: McGraw-Hill., ) F.E. Grubbs, Procedures for detecting outlying observations in samples, Technometrics, vol. 11, no. 1, pp. 1-21, Information Processing Society of Japan 53