映像・音声から人間の脳活動を推定する「NeuroAI」でヒットソングの特徴がわかる　未来の音楽トレンドも予測　NTTデータら

NTTデータ、NTTデータ経営研究所と阪神コンテンツリンクは音楽に対する人間の反応を科学的に把握するために「楽曲チャートデータ」と「脳情報通信技術」を融合させる共同研究開発プロジェクトを2019年9月から実施している。

今回、2016年12月から2020年5月までにチャートインした2185曲を対象に、楽曲を聴いた際の推定脳活動・音色の特徴、歌詞、コード進行や過去のチャート情報等の楽曲特徴を利用し研究を行った結果、以下の技術開発に成功したと発表した。

1.楽曲の脳情報化による新たな特徴の獲得(脳情報化された楽曲特徴の類似性が評価可能に)

2.ヒットソングの特徴の可視化(「ヒットの要因」を脳情報や歌詞・コード進行などの楽曲特徴から把握)

3.未来の音楽トレンド予測(どんな楽曲がトレンドとなるのか4か月程度先まで予測)

これらの技術によりどのような特徴を備えた楽曲がトレンドとなっているのか、そして今後どうなるのかの定量的な評価が可能となり、思いもよらないヒットソングが突然現れる今日のマーケットへの適応が期待される。

3社は今後、所属アーティストの躍進を目指すレコード会社などに向け、アーティストの発掘・育成やマーケティングの支援、そしてストリーミング事業社などに向けたチャートデータや脳情報を基にしたプレイリストの制作支援を行うなど、新たなサービスのトライアル提供を2020年9月から開始する。

2020年5月までの楽曲を対象に脳活動を解析

共同研究開発プロジェクトでは「楽曲を聴いている際の脳活動の推定による特徴の抽出と可視化」と「楽曲特徴(脳情報・歌詞・コード進行)とチャートデータによる楽曲トレンドの定量把握とトレンド予測」を目的とし、2016年12月〜2020年5月の8種類のチャートで100位以内にランクインした2185曲の対象楽曲、2016年12月5日の週〜2020年7月20日の週までBillboard Japan Hot 100の週次チャートデータ2047曲をNTTデータの人間の脳活動を推定する技術「NeuroAI」で楽曲の音声から1秒ごとの脳活動を予測。また、音声の周波数を解析し、楽曲の特徴を抽出。歌詞情報、コード進行情報、アーティストの過去チャート情報を定量化し、独自アルゴリズムを構築した。

阪神コンテンツリンクとNTTデータグループについて

デジタル技術の発達に伴い、ストリーミングサービスや動画配信サービスなど音楽の楽しみ方が多様化している。阪神コンテンツリンクは日本でビルボード・ブランドのマスター・ライセンスを持ち、この多様化した音楽市場の実態を多角的に捉えた「ストリーミング」や「ダウンロード」、「CDセールス」など8種類の指標を組み合わせた総合楽曲チャート「Billboard JAPAN HOT100」を構成する多様なデータを保有している。

NTTデータグループでは脳情報通信技術「NeuroAI」の研究・事業開発に取り組み、動画広告の分野では広告効果の予測が既存の機械学習に優越することを示すなどの成果を上げている。(米国の人工知能学会（AAAI）にて「NeuroAI(R)」基盤技術の論文が採択)

そこで3社は音楽に対する人間の反応を科学的に把握するために「楽曲チャートデータ」と「脳情報通信技術」を融合させる共同研究開発プロジェクトを2019年9月から開始した。

研究成果詳細

1.楽曲の脳情報化による新たな特徴の獲得
NeuroAIは映像・音声から人間の脳活動を推定する技術。今回NeuroAIを音楽に適用することにより、音楽ジャンルの情報や音声信号処理によらない新たな「楽曲特徴」を定量化した。また、脳情報に含まれる、人間が感じる音楽への潜在的かつ言語化不可能な反応を利用することで、楽曲トレンドを反映したCMタイアップソングの提案や「今までは聴かなかったようなジャンルから好きになれる楽曲との出会いを提供する」など新たなアプローチによるプレイリストの作成提案などが期待される。

2.ヒットソングの特徴(脳情報・音質特徴・歌詞・コード進行)の可視化
単位の楽曲トレンドを定量的に把握するため、楽曲特徴(脳情報・歌詞特徴・コード進行特徴)およびアーティストの前週のチャートデータから、チャートポイントを説明する「チャートモデル」を構築した。過去のチャート情報を加味しているため、アーティスト知名度等の影響をある程度差し引いたうえで、どのような楽曲特徴が支持されているのかを把握できることが期待される。

例として、Billboard JAPAN HOT 100の2020年上半期チャートを対象とし、実際のランキングと「楽曲特徴のみ」のモデルで再構築したランキングでは、Official髭男dism、LiSA、菅田将暉などに加え、wacci、ヨルシカ、iriといった次世代アーティストたちもランクインする、新旧の楽曲が混交するランキングとなっており、楽曲特徴によるトレンドを把握する可能性が見出された。

3.未来の音楽トレンド予測
週単位でどのような楽曲特徴(含・前週のチャートデータ)を持つ曲が上位にランクインするかを定量的に表したこのモデルの時系列変化を「トレンドの変化」と捉え、過去の変化パターンから未来にどんな楽曲特徴が支持されるのかを予測。実際のチャートデータだけではなく「急に聴かれるようになった」楽曲について指標化したデータ(急上昇トレンド指標)を対象に新たなチャートモデルをつくり、時系列変化を予測した。

すると、全データの90％を利用し(2016年12月5日〜2020年3月16日)その変化パターンを学習させたが、2020年3月23日以降の未学習に仮設定したデータにおいても予測精度が維持できていた。

今回対象としたデータの中では最新の2020年7月20日週のチャートデータに関しても、YOASOBI、ヨルシカ、Rin音、Novelbrightなどによる楽曲の順位上昇を予測することができた。

今後について

阪神コンテンツリンクは今後も音楽チャートと脳科学的な分析を組み合わせた研究開発を進め、精度向上とサービス提供、新しい角度の音楽トレンドの発信を行い、音楽マーケットのさらなる興隆に貢献していく。また、NTTデータおよびNTTデータ経営研究所では音楽にとどまらず、今回の手法を動画広告・テレビ/ネット番組など多様なメディアに適用し、脳情報化とモデル作成によるコンテンツ最適化サービスを提供していく。

この記事を読んだ人におすすめ

関連する記事はまだありません