NVIDIAが1枚の写真からナイトライダー「ナイト2000」の3Dモデルを生成、疾走する動画を公開　GANと「Omniverse」を活用

トロントにあるNVIDIA Research は、「2D」画像から「3D」オブジェクトモデルを作成する新しいディープラーニング・エンジンを使って、テレビ番組「ナイトライダー」のAI「K.I.T.T.」を搭載した自動車「ナイト2000」を再現した3D動画を公開した。GANと「NVIDIA Omniverse」を利用した新技術で、1枚の写真から3Dモデルや動画を生成することができる。


NVIDIA AI Research Labで開発された GANverse3Dアプリケーションは、平面的な画像をリアルな3Dモデルに変換し、仮想環境で可視化して制御することができる。

この機能を利用すると、建築家、クリエイター、ゲーム開発者、デザイナーは、3Dモデリングの専門知識やレンダリングのための多額の予算がなくても、モックアップに新しいオブジェクトを簡単に追加できるようになる。
たとえば、1枚の自動車の写真を、ヘッドライト、テールライト、ウインカー等、リアルに再現した3Dモデルに変換し、仮想のシーンで走行させることができる。


研究者は、トレーニング用のデータセットを生成するために、敵対的生成ネットワーク (GAN) を利用して同じ物体を複数の視点から撮影した画像を生成して合成するようなもの。カメラマンが止まっている車の周りを歩きながら、さまざまな角度から撮影するように生成する。このマルチビュー画像は、2D画像から3Dメッシュモデルを推論するプロセスであるインバース・グラフィックス用のレンダリング・フレームワークに入力されるという。


マルチビュー画像でトレーニングした GANverse3D は、1枚の2D画像から3Dメッシュ・モデルを予測できるようになる。このモデルは、開発者がオブジェクトのカスタマイズや背景の入れ替えを行える 3Dニューラルレンダラーで使用することができる。
これを「NVIDIA Omniverse」プラットフォームの拡張機能としてインポートする。こうしたプロセスで「GANverse3D」は、あらゆる2D画像から3Dオブジェクトを再現することができるとしている。その例として、1980年代の人気テレビ番組「ナイトライダー」で犯罪と戦った魅力的な自動車「ナイト2000」を再現した動画を公開した。

■GANverse3D: Knight Rider KITT Re-created with AI by NVIDIA (Full Version)

2Dの画像から走行しているナイト2000を再現

ゲーム、建築、デザインのクリエイターは、NVIDIA Omniverse シミュレーション/コラボレーション プラットフォームのような仮想環境を利用して、最終製品を制作する前にプロトタイプを可視化することができる。
しかし、実際にショールームに飾られるような自動車、実際に存在しているように見える建物をレンダリングするために必要な多数のマルチビュー/イメージを撮影するコストは、極めて高額になることが多い。

このような場合には、トレーニング済みの「GANverse3D」アプリケーションを利用することで、自動車、建物、さらには馬の標準的な画像を3Dオブジェクトに変換して、Omniverseでカスタマイズし、3Dアニメーションを生成することができる。


ナイト 2000 を再現するために、研究者は、トレーニングされたモデルに自動車の画像を入力し、GANverse3D に対応するテクスチャ付き 3Dメッシュと、ホイールやヘッドライトなどの自動車のさまざまな部分の画像を予測させた。次に、NVIDIA Omniverse Kit と NVIDIA PhysX ツールを利用して、予測されたテクスチャを高品質なマテリアルに変換し、ナイト 2000 の外観のリアリティを高め、動的な走行シーケンスを割り当てたという。


NVIDIA のディープラーニング エンジニアであるジーンフランソア ラフレーシュ (Jean-Francois Lafleche) 氏は、次のように述べている。
「Omniverse を通じて、研究者は、エキサイティングな最新の研究結果を、クリエイターとエンド ユーザーに直接提供することができます。Omniverse の拡張機能として GANverse3D を提供することは、アーティストがゲーム開発、都市計画、さらには新しい機械学習モデルのトレーニングのために、より豊かな仮想世界を制作するために役立ちます。」

この記事を読んだ人におすすめ

関連する記事はまだありません