日本マイクロソフトは、同社の最大級のデジタルイベント「Microsoft Japan Digital Days」(MSDD)を2021年10月11日~14日の4日間開催した。そして、その最終日である14日の17時45分よりクロージングとして「HUMANOID DJ × 大塚愛 special live」を配信した。1万人以上が視聴し、最先端のXR技術と融合したライブを体験した。
その空間でしか体験できない音楽を創り出すAI DJの「LUCY(ルーシー) w/」が演出したステージ上で大塚愛さんは「タイムマシーン」「なんだっけ」「さくらんぼ」の3曲を熱唱。ルーシーが唯一無二、一期一会のステージを演出し、「MSDD」の閉幕を盛り上げつつ、クロージングをかざった。
HUMANOID DJは、エイベックスとクリエイティブカンパニーのネイキッドが、Microsoft AzureのAI「Cognitive Services」を使って開発した。アーティストやオーディエンス(観客)の表情や感情を読み取り、リアルタイムにそれらのデータを解析、状況に合わせて音楽や映像のコントロールを行う。そのため、唯一無二のステージとなる。
そのDJキャラクターが「LUCY(ルーシー) w/」だ。
大塚愛さんの表情をスキャンして演出するAI
大塚愛さんはリストバンド型のセンサーデバイスを装着していて、大塚さんの動きに反応してAIが演出を変えていくという場面が見られた。また、大塚さんの表情をスキャンして感情から演出を生成する技術も使われた。
具体的には、3曲それぞれに異なったしくみが導入された。主に映像にルーシーの演出が反映されていた。
3曲それぞれ異なる演出
例えば、1曲目の「タイムマシーン」では、タイムマシーンの曲にちなんで大塚さんの背景には「時の流れを感じる画像」をベースに、AIが時代を飛び越えていくイメージやビルが崩壊する映像演出が構成されていた。演奏するキーボードの動きに連携して変化していく演出がとられた。2曲目の「なんだっけ」はリリックビデオの映像が流れ、記号や幾何学的な模様、空間が広がる様子などが合成されつつ、大塚さんの動きと連携して変化していった。3曲目の「さくらんぼ」では大塚さんの感情に連携した演出が導入されていて、3曲の中では最もアレンジの大きいものとなっていた。
また、今回のMSDDの関連のツイート(Twitter)からAIが言語解析して、ワードが画面に展開されているトーンも印象的だった。
演奏に対しては、生の演奏信号に対してアレンジを追加しているようなイメージで、ライブで歌う大塚さんが戸惑うような様子は全くなかった。
ABOUT THE AUTHOR /
神崎 洋治神崎洋治(こうざきようじ) TRISEC International,Inc.代表 「Pepperの衝撃! パーソナルロボットが変える社会とビジネス」(日経BP社)や「人工知能がよ~くわかる本」(秀和システム)の著者。 デジタルカメラ、ロボット、AI、インターネット、セキュリティなどに詳しいテクニカルライター兼コンサルタント。教員免許所有。PC周辺機器メーカーで商品企画、広告、販促、イベント等の責任者を担当。インターネット黎明期に独立してシリコンバレーに渡米。アスキー特派員として海外のベンチャー企業や新製品、各種イベントを取材。日経パソコンや日経ベストPC、月刊アスキー等で連載を執筆したほか、新聞等にも数多く寄稿。IT関連の著書多数(アマゾンの著者ページ)。