リアルタイム 3D (RT3D) でのコンテンツ制作・運用を支え、ゲーム開発者からアーティスト、建築家、自動車デザイナー、映画制作者など、さまざまなクリエイターが想像力を発揮する “環境 (プラットフォーム)"として提供されている『 Unity』。Unity の日本国内における販売、サポート、コミュニティ活動、研究開発、教育支援を提供しているユニティ・テクノロジーズ・ジャパン株式会社は、Unity の普及支援だけでなく直接ユーザーのプロジェクトにコミットするようなツールの開発・コンテンツ制作もサポートしている。

2023 年、ユニティ・テクノロジーズ・ジャパン株式会社は、映像作品やバーチャルプロダクション、ライブプロダクションなどの制作用途に合わせてさまざまなソフトウェアを組み合わせ、バーチャルプロダクション向けのパッケージを開発。さらにこのパッケージをオープンソースとして、ユーザーへ公開することを発表した。

本インタビューでは、パッケージ開発の経緯から、バーチャルプロダクション向けに追加された新機能、そして今後の展望について 3 名のプロフェッショナルに取材をした。

クリエイターの創造性を解き放つ、バーチャルプロダクション向けパッケージの開発を決意

Unity は、“世界中でより多くのクリエイターが誕生するために"という強い信念を基に開発されている。ユニティ・テクノロジーズ・ジャパン株式会社 代表取締役社長、大前 広樹氏はこの信念について次のように語っている。

大前氏「通常、ゲームエンジンは特定のゲームジャンルに偏りやすい傾向がありますが、Unity は幅広い分野のゲームやコンテンツの制作を可能にするため、入念な設計が施されています。また、クリエイターの制作活動を支える非常に高い拡張性も備えており、ユーザーは Unity を使用して、自分の好みに合わせたツールやワークフローを簡単に作成・実装できる、開発しやすい環境が整えられています。これらの特長は、Unity の根幹にある信念が色濃く反映されていると思います」

Unity は、ゲームや 3D 制作のツールとして広く普及しているが、2016 年以降、映像作品、バーチャルプロダクション、ライブプロダクションなどの用途で利用するクライアントが増え始めたという。ユーザーからのニーズに応える形で、より直感的に操作しやすく、プロ向けの機材とシームレスに統合できるソフトウェアの開発プロジェクトが始動し、それが今回の “バーチャルプロダクション向けパッケージの開発"のきっかけだったと、ユニティ・テクノロジーズ・ジャパン株式会社 テクニカルディレクター、林 和哉氏は語る。

林氏「Unity ユーザーの皆さんは、ゲームのキャラクターや世界観をとても大事にしていて、同時に膨大な数のアセットをお持ちです。そのアセットを使った “ファンタジー空間とバーチャルプロダクションとの融合" に対する需要を感じ始めたことが、このプロジェクトを発足するきっかけとなりました」

バーチャルプロダクションの需要が増え続ける今、Unity はその需要に応えるため、今回のバーチャルプロダクション向けパッケージをオープンソースで公開することを決めた。

高精度なカメラトラッキングシステムとの連携で、実写とファンタジーの世界をシームレスに融合

今回のバーチャルプロダクション向けパッケージは、いくつかの異なるソフトウェアの組み合わせにより成り立っている。その中で、特に [ VisualCompositor ] というツールが基軸となり、Unity の中で様々なコンテンツをグラフィックベースで構築し、映像へと取り込める仕様になっている。

林氏「Unity の標準機能と [ VisualCompositor ] を組み合わせることで、マスクの拡張 (セットエクステンション) も可能です。グリーンバッグは有効な撮影面積に制限があるため、カメラを横に振っていくと壁面が映り、制作スペースの狭さが映像表現の枷になることがあります。しかし、このマスク拡張機能によって、グリーンバッグのない部分も完全にバーチャル空間として認識させることができ、どの方向にカメラを向けてもグリーンバックの境界が見えず、広々とした空間の表現が可能になります」

ファンタジーの世界と実写をシームレスに統合するため、今回のパッケージには、stYpe 社のカメラトラッキングシステム『 RedSpy』をサポートするプラグインも開発されている。RedSpy と Unity を組み合わせることで、CG 背景やキャラクターと、カメラの実写映像がリアルタイムかつ正確に連動する仕組みが実現できる。

カメラトラッキングシステムの選定では、いくつかのメーカー製品が比較・検討されたが、その中でも RedSpy から開発を始めた理由について林氏に詳しく話を伺った。

林氏「実際に RedSpy のデモを見た際には、そのコンパクトかつシンプルな設計にもかかわらず、精度の高いカメラトラッキング機能と機敏な動きに驚きました。また、撮影用のカメラに取り付けるだけでセットアップが簡単に成立する点も素晴らしいと感じました。撮影の際は、ハンディカメラで動きを付けたい場面もあるので、システムのコンパクトさはかなり重要です。

あとは、プロの現場にも対応できる仕様で、同時にクリエイターの皆さんが扱いやすい機材の開発から進めたかったので、業界でデファクトスタンダードとして位置付けられている RedSpy を選びました」

RedSpy は一度セットアップを行うと、Unity 内の CG / バーチャル空間とカメラを連動させ、実際のカメラアクションを Unity 内でも正確に再現できる。たとえば、VTuber やアバターなどの AR キャラクターをリアル (実写) の空間に置き、実写の演者がキャラクターと会話やダンスで共演するシーンを仮定しよう。RedSpy の高度なトラッキング精度によって、どのカメラポジションから撮影してもキャラクターの足は地面にしっかりと接地された状態を保てる。Unity と RedSpy を組み合わせることで、簡単に “AR キャラクターの実在感" を生み出し、自然なカメラワークを取り入れることができるのだ。

林氏「Unity のユーザーの中には、AR のキャラクターに動きを与えたいと考える方が非常に多いです。しかし、そこで精度の悪いカメラトラッキングを使用すると、CG と実写の世界が上手く融合されず、現実に引き戻されてしまいます。いくらすごい映像を見ていても、カメラが動いた瞬間に CG キャラクターが床を滑っている状態では、興醒めですよね? (笑) CG の接地や空間の整合性を保つのは難しいことですが、根幹にある “実在感" を実現する以上、欠かせない重要な要素となります。

RedSpy は、ちゃんと設定さえすれば、AR のキャラクターがカメラと連動して、ダイナミックなカメラワークでもキャラクターの足がしっかり接地し、動きに合わせた影もリアルに表現されます。この高い精度が、観客に “夢" としてファンタジーを見せる上で、とても大事なポイントになります。RedSpy は、余計なストレスを排除して、ユーザーがよりクリエイティブな側面に集中できる製品だと思います」

バーチャルプロダクションの質を高める stYpe RedSpy のプラグインを開発

今回のバーチャルプロダクション向けパッケージの開発に使われた stYpe 社の RedSpy は、業界標準の光学式カメラトラッキングシステムだ。このシステムを使用するには、収録用のカメラに RedSpy を取り付け、トラッキングエリアに小型の反射マーカーを貼り付ける。製品本体に内蔵されたカメラがこれらのマーカーを認識し、カメラの位置と動きの情報、レンズデータをリアルタイムに高精度で出力する。ライブ配信、映像制作、放送分野など、リアルタイムでの合成演出を行う現場で非常に役立つ製品だ。

ユニティ・テクノロジーズ・ジャパン株式会社 シニアテクニカルプロダクトマネージャー、シンダルタ・タヌイジャヤ氏は RedSpy の使用感について次のように話している。

タヌイジャヤ氏「RedSpy の実機を操作するまでは、かなり複雑なシステムだろうと考えていました。しかし実際は、デバイスを稼働させるだけで、すぐに精度の高いトラッキング機能を利用できるので、非常にシンプルで使いやすい製品だと感じています。当社の検証スタジオでは、簡易的な機材構成でさまざまな開発テストを日々行っています。開発者の視点からすると、いくらクオリティが高い製品でも、使い勝手が悪いと開発の進行スピードに影響を及ぼすため、機材の利便性はかなり重要だと思います」

パッケージへの期待が高まる、映像作品の可能性を広げる機能とは?

今回のバーチャルプロダクション向けパッケージには、2D / 3D アニメーションや映像作品を扱う個人制作者から、ライブ配信 / 収録、放送番組などのプロの制作現場、2.5 次元のライブ映像を制作するユーザーまで、幅広いクリエイターが必要とする機能が備わっている。この多岐にわたるニーズに応える “スイートツール"は、オープンソースとして公開される予定だ。

林氏によれば、公開前のデモ実演を見たユーザー層からは「このパッケージをすぐにでも活用したい!」という声が多く寄せられているそうだ。

林氏「こういった反応は、大変嬉しいです。案外お客様が最も魅力を感じているのは目玉の機能でなく、映像の入出力や、ゲンロックのサポート、ミニマムな構成でリアルタイムに合成できる点、オブジェクトの接地感、空間への影の落とし込みなど、基本的な部分に惹かれている方が多い印象です。

実際に階段を用意して、実写の階段を CG キャラクターが登るシーンをデモとしてお見せしたことがありますが、キャラクターの影が階段にきちんと反映 (接地) されているのを見て、そのハイレベルな実写と CG の融合を実感してくださったお客様もいらっしゃいました」

今後の展望 : バーチャルプロダクション向けパッケージの公開に向けて

大前氏「今回のパッケージツールは、プログラミングのスキルがなくても、比較的しっかりと映像作品を制作できるように開発されています。そのため、あらゆる環境のさまざまなユーザーにご利用いただきたい、というのが一番の願いです。その過程で起こりうる問題やアップデートに対して、最大限サポートを提供したいというのが、当社の次なる挑戦ですね」

これまで Unity が支えてきたアニメーションやゲーム世界の創造。バーチャルプロダクションの開発では、カメラトラッキングシステムを始めとするプロ向けの機材が “スパイス" として加わり、実写と CG がシームレスに統合された演出が可能となった。今回の取材を通じて、開発に対する Unity の情熱と革新的なアイディアが、クリエイターの世界造りをより豊かにし、表現の可能性を拡大していく舞台裏を垣間見ることができた。今後、多くのユーザーが Unity × RedSpy の最強タッグを活用し、"ファンタジーのような現実世界"を展開する未来は、そう遠くないだろう。