演奏と映像のコラボは脳や感性にどう影響する? 「脳と芸術とAIの共存に向けて」玉川大学AIBot研究センターが新たな試み

コンサートや演奏を楽しむとき、視線はどこにあてるだろうか。
それとも、目を閉じた方が演奏に集中できると感じるだろうか。

映像によって演奏は引き立てられるのか。更には新しい芸術性が拡がるのか。
私達の脳は演奏と映像を別々に楽しむのか、それとも相乗効果によって新たな感動は生み出されるのか・・
興味はつきない。

1月21日に「脳と芸術とAIの共存に向けて」と題したシンポジウムが開催され、その中でヴァイオリンとピアノによるコンサート演奏を聴いた聴衆が、映像や画像を一緒に観たときの感想や身体への影響をアンケートで応えるという、興味深い試みが行われた。(筆者も幼少期に10年近くヴァイオリンを習っていたので参加するだけでもワクワクした)

左がヴァイオリニストの斎藤アンジュ玉藻氏、右がピアニストの遠山沙織氏。映像機材はキヤノン株式会社・キヤノンマーケティングジャパン株式会社が協力

この試みは、2017年4月に新設された玉川大学 学術研究所「先端知能・ロボット研究センター(AIBot研究センター)が、二部構成のシンポジウムの第一部で行ったもの。

馴染み深い楽曲が映像とのコラボレーションでどのように変化するか、体験型の「新しい芸術表現」研究の第一歩を兼ねたもの。会場は世界的な音楽環境を備えた設計の「玉川大学 University Concert Hall 2016」で行われ、同施設に完備されている400インチのスクリーンに2基のプロジェクタを使って映像表現が行われた。

バッハを竹林で聴くと、印象はどう変わる? (※許可を得て撮影。シャッター音のないカメラ(反射ミラーもメカニカルシャッターもないカメラ)を使用)

演奏の奏者は世界的に知られているヴァイオリニストの斎藤アンジュ玉藻氏。全7曲のうち4曲がソロ演奏を披露し、3曲をピアニストの遠山沙織氏が共演して華を添えた。

冒頭はバッハのソナタ第1番アダージォを「映像あり」と「映像なし」で斎藤氏が演奏。アンケート用紙には「体調が向上したか/悪くなったと感じたか」「痛みが緩和したか」「ストレスは感じたか、軽減したか」、更に「肩こり/圧迫感」「リラックス度」「幸福感」などの項目について、「映像あり」と「映像なし」など、具体的な項目別にどのような違いを感じたかを記入する欄が用意されていた。

バッハ / ソナタ第1番アダージォを「映像あり」で演奏する斎藤アンジュ玉藻氏

「映像なし」での演奏の様子。映像あり/なしの感じ方等の違いを個々人がアンケートで回答する


第一部 映像と音楽のコラボレーションの新たな試み (演奏曲)
★ バッハ / ソナタ第1番アダージォ
★ バッハ / ソナタ第3番アダージォ
☆ モーツァルト / アダージォ
★ バッハ / シャコンヌ
★ さくら
☆ サラサーテ / カルメン幻想曲

★はヴァイオリン・ソロ。ほかに第二部に1曲あり

斎藤アンジュ玉藻氏はドイツ「インターナショナルゾリステンシリーズ」に最年少で抜擢され、以来バッハ音楽祭で定期的に演奏するヴァイオリニスト。特に絶品と賞賛されるバッハ「シャコンヌ」が間近で聴けたことは素晴らしい体験だった。

本題の、演奏が映像によってどのような影響を受けるか、芸術表現がどのように変わるか、はとても難題だ。これについてはその後に実施された脳科学・研究の先生によるパネルディスカッションがとても勉強になったが(別記事で掲載予定)、率直な個人の感想を述べれば「演奏そのものにどれだけ集中したいかによって受け止め方が異なる」と感じた。
例えば、今回の場合、斎藤アンジュ玉藻氏が演奏する「シャコンヌ」は圧巻で、視線も演奏者に釘付けになる。そのため背景の映像は目にしないか、映像によってはない方が良いと思うかもしれない。ただ、この感覚はもしかすると主催者にとっては織り込み済みなのかもしれないと感じる。「シャコンヌ」の演奏時の映像は風景や人物などの明確なメッセージ性の強い映像ではなく、北村義博氏の「フィーリングアーツ」が使われた。フィーリングアーツは作り手の強いメッセージやストーリーがなく、体感者のイマジネーションにゆだねる体感芸術だ。このコラボレーションは圧巻の演奏を引き立てる、空間を演出するのに効果的な選択だったと感じた。

圧巻の「シャコンヌ」。体感芸術である北村義博氏の「フィーリングアーツ」が背景の空間を演出

また、「さくら」のように、既に聴衆の脳がイメージする光景がある程度連想できる楽曲については映像も桜の風景が投影された。これは逆に「桜とは相反するイメージ映像の場合、私達はどう感じるのだろうか」「映像が宇宙、雪渓、海の中だったら、どのように印象が変わったのだろうか」と、より深い興味を持った。


この日、参加した聴衆の方々はそれぞれどう感じたのだろうか。
この研究によって脳やAIに関してどのようなことが解明されていくのか、今後がとても楽しみな試みだった。


玉川大学AIBot研究センター「STEM教育からSTREAMへ」

「玉川大学 学術研究所 先端知能・ロボット研究センター」(AIBot研究センター)の主任、岡田浩之氏が登壇し、AIBot研究センターは人工知能、認知科学、ロボットテクノロジーをキーワードに人間中心の社会知性の創成を支援するための研究を推進していくと言う。


AIBot研究センターには、新しい認知科学の創成や、人と技術が調和する社会の実現を研究する「社会知性創成研究部門」や、AIやロボティクスを使った技術に関わる新しいビジネスモデルの研究を行い、事業化の課題に対する解決策を研究する「先端知能・ロボット ビジネスモデル研究部門」、「STREAM教育研究部門」などがある。

「社会知性創成研究部門」の概要

「先端知能・ロボット ビジネスモデル研究部門」の概要

「STREAM教育」とは聞き慣れない言葉だが「STEM教育」を拡張した言葉だ。STEM(ステム)はScience、Technology、Engineering and Mathematicsの頭文字をとったもの。科学、技術、工学、数学の教育分野を示すが、近年はArt(芸術)を加えて、STEAM(スティーム)と呼ばれるのが一般化されてきた。それに更にRoboticsを加えた「STREAM教育」の体系化を目指していく、と語った。

「STEM」から「STREAM教育」へ。ArtとRoboticsも重要

同センターでは「音楽聴取や合唱が社会性を促進するか?」というテーマで研究を始めていて、好きな音楽を聴いたり、みんなで合唱することが、「オキシトシン」の分泌を促すことがわかってきていると言う。「オキシトシン」は「愛情ホルモン」や「幸せホルモン」とも呼ばれ、思いやりや他人を援助する行動に繋がるホルモンとして注目されているようだ。



ABOUT THE AUTHOR / 

神崎 洋治

神崎洋治(こうざきようじ) TRISEC International,Inc.代表 「Pepperの衝撃! パーソナルロボットが変える社会とビジネス」(日経BP社)や「人工知能がよ~くわかる本」(秀和システム)の著者。 デジタルカメラ、ロボット、AI、インターネット、セキュリティなどに詳しいテクニカルライター兼コンサルタント。教員免許所有。PC周辺機器メーカーで商品企画、広告、販促、イベント等の責任者を担当。インターネット黎明期に独立してシリコンバレーに渡米。アスキー特派員として海外のベンチャー企業や新製品、各種イベントを取材。日経パソコンや日経ベストPC、月刊アスキー等で連載を執筆したほか、新聞等にも数多く寄稿。IT関連の著書多数(アマゾンの著者ページ)。

PR

連載・コラム