【動画あり】ヤマハのAIがダンサーをピアニストに！ダンスに呼応する自動ピアノの演奏とアンサンブル「舞・飛天遊」を動画で公開

ダンサーの動きがピアノの旋律を奏でる「ダンス認識ピアノ演奏システム」。

ヤマハ株式会社は、11月22日（水）に東京藝術大学奏楽堂で開催されたコンサート「舞・飛天遊」(まい・ひてんゆう)に技術協力を行い、“ダンスによるピアノ演奏”の実現に挑戦した際の動画を公開した。舞・飛天遊の主催は東京藝術大学。

同社が研究開発を進めている「ダンス認識ピアノ演奏システム」は、世界的ダンサーの森山開次（もりやまかいじ）のダンスに呼応して自動演奏機能付きピアノ「Disklavier」がメロディーを奏でる。更に、世界的名演奏家集団のベルリンフィル・シャルーンアンサンブルが周囲に囲み、共演を果たした。
ダンサーの身体にセンサーを設置し、動きを検知、動きに合わせて人工知能が瞬時に音楽データを作成し、それを自動演奏ピアノが演奏する。音と動きが融合する新表現が実現した。

そしてその様子の一部が、「ダイジェストバージョン」（約90秒）と「ロングバージョン」（約5分）の2種類の動画として公開されたもの。

■ ダイジェストバージョン（約90秒）

■ ロングバージョン（約5分）

コンサートでは、ベルリンフィル・シャルーンアンサンブルも共演に加わり、ダンスと音楽の世界的才能がヤマハの技術とともに「身体と音楽の融合表現」を切り拓き、会場は大きな拍手に包まれた。

取り組みの概要

同社は2015年より、文部科学省と科学技術振興機構の事業「革新的イノベーション創出プログラム（COI STREAM）の拠点の一つ「東京藝術大学COI拠点」に参画しており、今回の協力はその活動の一環として行ったものだ。

「ダンス認識ピアノ演奏システム」とは

同社が研究開発を進める「ダンス認識ピアノ演奏システム」は、人間の動きを音楽表現に変換することを可能にする、人工知能（AI）搭載の新しいシステム。

人間に装着した4種類のセンサー（伸縮センサー、筋電位センサー、加速度センサー、ジャイロセンサー）で人間の動きを検知し、動きのパターンを瞬時に解析。そのパターンに関連付けられた演奏をリアルタイムに割り出し、自動演奏機能付きピアノ「Disklavier」に演奏を指示し、ダンスを音楽に変換する。

▼ 「ダンス認識ピアノ演奏システム」概要図

Disklavier（ディスクラビア）とは

ヤマハ独自のシステムで鍵盤やペダルの動きを極めて正確に再現できる自動演奏機能を搭載したハイブリッドピアノ。最新モデル「ディスクラビア エンスパイア」では、世界的なアーティストの演奏をレコーディングしたオリジナル音源も搭載。音楽を楽しむくつろぎの時間をさらに優雅に演出する。

演奏データには、動きの機微を表現するデータも含まれているため、僅かなタッチの違いも極めて正確かつ豊かな音色で再現することができる「Disklavier」の存在が不可欠となる。

今回は、ニューヨーク・タイムズ紙に“驚異のダンサー”とも称された森山開次の表現力に応えるため、コンサート用グランドピアノのフラグシップモデル「CFX」の「Disklavier」を使用。同氏のダンスを余すこと無く音楽表現に変換することに挑戦した。



同社の研究開発統括部部長、田邑元一氏は今回の取り組みついて以下のように述べている。

この記事を読んだ人におすすめ

関連する記事はまだありません