演奏家と聴衆の脳波はシンクロするか? 脳波 AI とクラシック音楽について掘り下げる 2018 年 4 月 15 日 人工知能サービスの開発もしている総合コンサルティング会社アクセンチュアが 4 月のとある週末 社員と関係者向けに一風変わったイベントを開催した これは 2017 年の 音楽を題材に脳波の解釈を行う試み の続編としてクラッシック演奏会とトークセッションで構成され 都内に新しくオープンしたアクセンチュア イノベーション ハブ 東京を会場に行われた アクセンチュア イノベーション ハブ 東京共同統括の保科学世氏が会全体のオーガナイズを行い 開催にあたってはアクセンチュア芸術部のメンバーが運営サポートをし 脳波ログ取得と視覚化については SOOTH 株式会社 ( 株式会社 AOI Pro. 体験設計部のメンバー ) が技術提供と運営サポートを担った トークセッションではアクセンチュアインタラクティブの佐藤守氏が司会を務めた 脳波について説明する保科氏 音楽は究極の非言語コミュニケーション人とコミュニケーションをとる人工知能の開発が進む中で 自然言語 表情 ジェスチャーについては 機械が理解できるようになってきているが 究極の非言語コミュニケーションの一つとも言える音楽を人工知能が理解するのはまだまだこれからの領域 と保科氏は語った 特にクラシック音楽は 数百年前の作曲家たちがその当時の状況 自分の想い さまざまなことを伝えようとして曲を生み出した その後 歴代の演奏家たちが書き残された楽譜をもとに自分なりの解釈を積み重ねて現在に至っており ある意味 時間をも超えた究極の非言語コミュニケーションだと言える
そんな文脈に沿って演奏家同士のコミュニケーション また演奏家と聴衆のコミュニケーションに着目し その指標としてそれぞれの脳波を同時に視覚化して解析してみる 同時にこのような形でコミュニケーションをデータ化することで 人との非言語コミュニケーションを人工知能に組み込む手段を検討する機会になれば と保科氏が今回のイベントの意図を語った 四人の演奏家が登場昨年もこの試みに賛同していただいた世界的な指揮者 ヴィオリストであり Music Dialogue 芸術監督を務めている大山平一郎氏が演奏面を監修し 枝並氏 大塚氏 金子氏のカルテットを構成 昨年の企画を踏まえて特徴的で曲想が異なる演目が選定された 今回は特に 観客の脳波も計ることを考慮にいれたプログラムとし さらに脳波についての検証アイディアも寄せられた 左から : 大山平一郎 ( ヴィオラ ) 枝並千花 ( ヴァイオリン ) 大塚百合菜 ( ヴァイオリン ) 金子鈴太郎 ( チェロ ) 企画協力一般社団法人 Music Dialogue 演奏曲 1) ハイドン作曲 弦楽四重奏曲第 77 番ハ長調皇帝 より第 2 楽章 2) ショスタコーヴィチ作曲 弦楽四重奏曲第 8 番ハ短調作品 110 より第 4 第 5 楽章 ( 解説なし ) 3) ショスターコヴィチ作曲 弦楽四重奏曲第 8 番ハ短調作品 110 より第 4 第 5 楽章 ( 解説あり ) 4) ウェーベルン作曲 弦楽四重奏のための 5 つの断章作品 5 より第 2 第 3 楽章 5) ウェーベルン作曲 弦楽四重奏のための緩徐楽章 今回は 複数人の脳波を同時取得し 聴衆の脳波も取る昨年の試みと大きく違うのは 3 人同時に脳波を取得してコミュニケーション状況を可視化したこと 合奏している演奏家 3 人の脳波を取得し リラックスや集中状態と関わりが深い α 波 興奮や緊張状態と関わりが深い β 波 を中心に Δ( デルタ ) Θ( シータ ) γ( ガンマ ) を加えた 5 波の状態をレーダーチャートで視覚化 α 波 β 波がそれぞれ設定したしきい値を超えた場合 と α 波と β 波が同時にしきい値を超えた場合 にサインが出るようになっていた 演奏会が進むに従い 演奏家と聴衆の中から選ばれた人の脳波を同時に取得したり 聴衆のうちクラシック音楽への見識の深い人と ほとんど無い人を選んで反応を比べる試みも行われた
また 大山氏からの提案で 何の説明もなく演奏を聴いた場合と 曲の説明を行った後で演奏を聴いた場合の違いも確かめることとなった 演奏中の様子 トークセッション 演奏会の振り返りと脳波の解説 (1 曲目は 演奏家 3 人の脳波を取得 ) 佐藤氏 : 脳波を測定されてどうだったか? 大塚氏 : 金子氏 : 考えが周りに知られているのではという恐怖感 プレッシャーがあった 弾いていると集中するが ふと出番のない時に脳波を見ると 波が小さくなっていた いい密度で練習できているかどうかが分かれば 効率が上がってよいと思う 1 曲目は解説者泣かせだった リハーサルと本番が全く違った リハーサルでは大山氏の脳波に巨匠感が出ており と言うのは指揮者的な役割の部分で集中し ご自身のパートでは瞑想状態になっていた しかしながら本番では個人ごと パートごとの特徴が薄れてしまった 本番という空気感もやはり大きく脳波に影響を与えているようだ (2 曲目と 3 曲目は演奏家を代表して大塚氏 クラシックコンサートの運営に携わるなどクラシック音楽に慣れ親しんでいる鈴木氏を プロ客 として アクセンチュア芸術部から島田氏を エントリー客 として脳波を取得 ) 佐藤氏 : 2 曲目と 3 曲目の試み 解説有り無しでの違いはあったか?
島田氏 : 大山氏 : 佐藤氏 : この曲は深い経緯があるものの 解説有り無しでの差が出るか内心ドキドキしていたが 明確な違いが反応に出た 特に エントリー客 の島田氏は顕著で 解説後は集中力と感受性を発揮していた 自分へのレクイエム という印象が影響したかもしれない 曲のタイプにも依存すると思うが 曲の意味の理解が大切であることが見て取れた 余計なことをしたと思っている 作曲家からすれば自分の気持ちが素直に表現され 受け取ってもらえるのが本望かと 多くの作曲家はその曲を書いた理由を 曲完成後には隠滅してしまうことが多い それは音楽は心と心で交し合える言葉 という音楽家の哲学なのだ 逆に言えば 解説無しでそこまでの反応を誘い出せなかった奏者に責任があることは否めない ( 苦笑 ) 人によって感じ方のレベルが違うという絵画における結果があり 何の情報も無いと感じ方が限られるが 背景や文脈を知ることによって正しく作者の心境に迫れる 絵画と音楽の共通性は 興味深い 解説の有り無しが与えた影響は? (4 曲目は エントリー客 を山口氏にチェンジ ) 山口氏は 考えるより感じる人 というように見えたがいかが?
山口氏 : 大塚氏 : 普段は左脳人間だが 土日に茶道と太極拳を 20 年以上やっており 無念無想で雑念を断つようにしているからかと 選曲が良かった 展開が読みにくい曲なので 不安や疑問が浮かぶはずだと考えたが 山口氏からは 初めての出会い を感じた 一方で鈴木氏はゆったりと受け止めていた 演奏者側の大塚氏は 2 曲目よりも気持ちよく演奏していたように脳波からは見えた わりと集中していたつもりだ (5 曲目は 演奏家側を大塚氏から枝並氏にチェンジ ) 大塚氏 : 気に入ってしまった曲なので 感情も込めやすかった 愛や思いやりを感じて弾いたので気持ちよく弾けた 枝並氏 : 大山氏 : 鈴木氏 : 山口氏の反応はリラックス 鈴木氏は集中しつつも最後は感情的に盛り上がっていたように見受けられた 枝並氏は 特に終盤にかけて気持ちよく弾いているように見受けられた 音量をセーブしながら深い音を出したいので 出だしの感情の乗せ方がとても難しい 枝並氏は特に後半は瞑想に入っていた 実は 全曲を通してこの曲が一番 全員の脳波の同期が取れていた そうであろうと予測して選曲しました 鈴木氏は曲を先取りしているようにも見受けられた この曲も含めて以前から大山先生の演奏を聴いていたので 曲に浸りながら聴けた 演奏家と聴衆のシンクロは起きたか
機械が演奏することについて佐藤氏 : AI は人間の仕事を奪うのか 人間と協調するのかという話がある 鑑賞者の反応で作曲したり アドリブを覚えさせたり 昨今 新しい演奏のあり方が話題になっている それらも踏まえて演奏者のご意見が欲しい 金子氏 : 大塚氏 : 枝並氏 : 大山氏 : 絶対に失敗しないことや 感情に連動した弾き方をインプットして再現することはできると思う しかし突然の思いつきや ホールの響き 天気 湿度 何を食べたかということに影響されて 人間は意識的あるいは無意識に演奏を変える これは不可能だと思う 人間にはかなわないと思いつつ 人間に近づけばそれを見てみたい でも人間以上の感情は出て欲しくないと思っている 音楽が心の奥に突き刺さるような演奏 理屈なく涙が出る 漠然としていて言葉が見つからない部分に刺さるような演奏を目指している それは人間にしかできないと思う でも機械が演奏することによって 今まで聴いたことの無い人が生演奏を聴きたくなるような効果があるなら それには期待したい いま AI が目指しているのは 私がどう弾くかを分析し 入力してそれに反応できる形だと思う しかし 私がこの曲を誰と一緒に弾きたいかという理由は 相手の音楽性の反応への期待なのだ AI がそこまでの情を 自分自身で解釈し 表現して 他演奏者と関わっていけるだろうか 情報 に 情 が掛け合わされて作られるユガミ ヒズミを期待している 演奏者同士の関わり 観客との間合い 会場の雰囲気 極論を言ってしまえばミステイクも含めて不確実な部分にもその魅力があると思う 特に芸術では 不確実性 感情的なユラギ含め AI が学ばなければ AI は人間には近づけないのでは そしてもしユラギを再現できたとしても 聴き手が これは AI が演奏している と思った瞬間 人間の受け取り方が違ってくると思う 人が何かを人に伝える AI が何かを人に伝える その 2 つはそもそも意味合いが違うので 人間が演奏する意味は確実にある そういうことを考えに入れずに AI を開発するのは間違いだと思う 何を機械がやるべきで 何を人間がやるべきか 人間がやっていることを全て無理やり機械に置き換えようとは思っていない
AI と演奏についても会話が進んだ 人間だからこそ 覚悟 で演奏が変わることも 例えば死を意識するとパフォーマンスが変わるという話も聞いたりするが 人生の転機で演奏が変わったという体験があれば お伺いしたい 枝並氏 : 金子氏 : 大山氏 : 4 歳から楽器を始めたが 実は手を傷めて弾けない時期があったのだが この先弾けなくなる と思うと心から弾きたいことに気づいた 自分に必要なものだと意識した時 演奏や伝わり方が変わったと 観客から言われるようになった 14 年前 大山先生と出会ったのが一番の転機です ( 会場に笑いを誘う ) 私の歳だと あと何回この曲を演奏できるか と純粋に思う ここ 2 年ぐらいその気持ちが強い 残された時間 悔いのない演奏をしたいという切実な気持ちがある AI が人間により近づくには 今の話で出てきたような人生の転機 そしてそこでどのような変化が人間に起こったのかをも AI は学習していく必要があるだろう 脳波を取る意味について佐藤氏 : 音は記録できる 動きも映像で記録できる さらに感情までをも記録したいと考え どこまで理解できるかは分からないが 記録してみることにした ちゃんと解析すればもっと色々分かる クラシックには次世代に音楽を伝え
ていくというミッションがあるが 演奏者から見て脳波を記録していくことをどう思うか 金子氏 : いかに時間を節約するか トレーニングの効率アップに役立てたい もし作曲者の想いが弟子に伝わり 他人に伝わって継承される時に その弾き方の参考に脳波が加わるとしたら凄い 感情の込め方がもっとコントロールできるのであれば 大山先生のように弾けるようになるかも 脳波だけでは難しいと思うが 脳波は一つの手がかりだと思う 色々な分野で脳波を取っていて思うのは 一流の人は脳の使い方がうまい そのような人はどの分野でも成功できるのではないか ということであり そう望んでいる 脳波を色々な場面や手法で採取しながら そんな解明を目指している SOOTH 株式会社が提供した 脳波センサーと複数人脳波の視覚化アプリ