「プロセカ」、「コネクトライブ」のライブ感は“アドリブ&百戦錬磨の手動操作”が生み出していた【CEDEC2022】

　本日8月23日より開発者向けカンファレンス「CEDEC2022」がオンラインにて開幕となった。本稿では、Colorful Paletteのエンジニア・山口智也氏らによるセッション「『プロジェクトセカイ カラフルステージ！ feat. 初音ミク』リアルタイム配信型バーチャルライブの開発事例」について紹介する。

　今回のセッションでは、「プロセカ」の略称で親しまれている「プロジェクトセカイ」のコネクトライブ機能を解説。3Dキャラクターが“リアルタイム”でステージ上を動き、バーチャルライブを開く「プロセカ」だが、実現するまでの手法や技術、さらにユーザーに“ライブ感のある体験”を提供するための工夫が語られた。

セッションは、Colorful Palette所属の3名によって行なわれた

制作人数は4人!? 「コネクトライブ」のコンセプトや演出決めなど、本番までの制作裏を解説

　最初に、藤本誠人氏により「コネクトライブ」機能について紹介された。「コネクトライブ」では、楽曲にあわせ、ゲーム内キャラクターがリアルタイムでパフォーマンス。ユーザーがコールやメッセージを送ると、キャラクターがその場で反応するなど、実際のライブに近い体験が提供されている。

　本番までの制作は、Colorful Paletteのアニメーション演出班4名によって行なわれた。まずは「コネクトライブ」において、必要な要件を洗い出し、要件を定義。この時点で、リアルタイム配信や360度ステージなど、現在の「コネクトライブ」機能の目玉が決まっていたことを明かした。

キックオフの段階では、必要な要件を洗い出し、定義していく

要件を定義した時点で、リアルタイム配信や360度ステージなど、目玉機能が決まっている

　そして、要件が決まるとモック制作に。ベースとなるステージを作り、ユーザーからの視点やキャラクターの移動範囲、ライトの数など、ライブに必要な要素を確認していく。モックを制作すると、早くもテストプレイ会を開き、プレイ感を確認。会場の見た目を模索していき、実現するための必要なアセットを洗い出していく。また「コネクトライブ」では、ストーリー上のライブとは異なり、楽曲がフル尺となることから、楽曲ごとのポイントも想定していく。

　モック制作が終わると、本格的な制作に入っていく。明るさや影の向き、スポットライトの動きなどアセットのアニメーション、アバターの制御やペンライトアクションなどが決まると、ベンチマークを1曲制作。基準となる1曲が完成すると、ほかの楽曲を制作していき“量産体制”に入っていく。

【モック制作まで】

ステージに必要な要素を確認

モックが完成すると、早くもテストプレイ会を開き、プレイ感を確認する

楽曲がフル尺となるため、楽曲の流れに沿ったイメージを制作

【量産段階まで】

本格的なステージに必要なトラックを決める

仕様が決まると、全ての楽曲の基準となるベンチマークを1曲制作

完成したベンチマークをもとに、ほかの楽曲を制作していく

　量産が完了すると、全体の流れを通しで確認。本番を想定した「テクニカルリハーサル」に入る。テクリハでは、ライブ全体のクオリティを確認し、意見を募集する。そこで集まった意見をもとに、演出を盛るなど、ステージのブラッシュアップをしていく。この際に、制作段階では発生しなかったバグが出現したことも明かし、負荷軽減も含め、改修していく。

　また、360度ステージを考慮した演出を説明。会場全体の空気感を演出するほか、自由に視点移動するために、ライティングを調整していることを明かした。さらに、テクニカルリハーサル後にNGになった演出として、メンバーの入退場に使用を想定していた「昇降機」を公開。クオリティの問題や、リアルタイムで行なうリスクを理由に断念したことを明かした。

【テクニカルリハーサルまで】

【360度ステージを考慮した演出や、NGになった演出を紹介】

　リハーサルが終わると、公演までは“ひたすら”調整。モデルのブラッシュアップやバグ対応などを行なっていた。制作上難しかった点として、当日の動きに合わせた演出作りや、フル尺での演出バランスなど、「コネクトライブ」ならではの機能で苦戦したとしている。

いよいよ本番！ “アドリブ多め”な配信スタジオでのオペレーションとは？

　公演当日には、40人ものスタッフにより「コネクトライブ」をオペレーション。実際の配信スタジオの様子が公開された。キャラクターのモーションを担当するアクターには、“アドリブ多め”を指示している。

　アドリブとなると、事前に用意ができないため、アセットなどで難しいものがありそうだが、そこはモーションチームが“百戦錬磨”だったとのこと。アドリブが増えると、“リアルタイム”感が増し、ライブを演出するうえで役立っていると明かした。ここでは実際の映像を使用しながら、アドリブによって公演ごとに違うモーションになっている様子が公開された。

実際のスタジオの様子

アドリブによって“ライブ感”を演出していく

　また、キャラクターの表情は、スタッフの持つコントローラーによって、手動で変更。台本に合わせた音響演出など、その場に応じた空気感を演出するために、ほとんどの操作がスタッフによる手動ということが明らかになった。

1時間にわたるライブ配信。ユーザーまで安定して届ける配信システムを紹介

　「コネクトライブ」では、1時間にわたりキャラクターがパフォーマンス。スマートフォン内のキャラクターをリアルタイムで、安定して動かすために、協力会社と連携し、専用のライブ配信・視聴システムが構築されている

　また、1時間にわたってデータを送受信するため、独自のフォーマットでデータを圧縮し配信している。だが、音声データについてはgzip圧縮を使用せずに、「HCA」という音声コーデックにエンコードし、高圧縮でありながらも、高音質というこだわりも見せた。

“ライブ感”を求め続ける努力。「コネクトライブ」に重要な要素のまとめ

　「プロセカ」でキャラクターと“リアルタイム”でつながることのできる「コネクトライブ」機能。360度ステージや、アドリブ、独自配信システムの構築など、ユーザーの“ライブ感”を求め続けるエンジニア・スタッフたちの、技術や工夫が垣間見える貴重な公演となった。

　最後には、今後も「コネクトライブ」機能をブラッシュアップしていくとコメント。バーチャルライブの最先端を行く「コネクトライブ」に、今後も期待していきたい。