【特別企画】
即時に全身メタバース体験！ 携帯型モーキャプ「mocopi」詳報
まさに革命的！ スマホ連携でいきなり全身モーキャプできる“お手軽”デバイス
2022年12月1日 11:25
- 【mocopi】
- 予約開始時期：12月中旬
- 発売予定時期：2023年1月下旬
- 価格：49,500円（税込）
ソニーは11月30日、モバイルモーションキャプチャーデバイス「mocopi（モコピ）」の新商品説明会を開催した。この新商品説明会では「mocopi」についての詳細と、デモンストレーションが実施された。
「mocopi」は11月29日に発表された新しいデバイスで、頭と両腕、両足、腰の合計6箇所に小型のセンサーをつけ、対応のスマートフォンと連携することで、全身の動きをモーションキャプチャーするというデバイスだ。予約販売の受付開始は12月中旬を予定しており、発売日は2023年1月下旬を予定している。価格は49,500円（税込）となっている。
これまで全身の動作のキャプチャーしようとすると、大きなレベルでは専用のスタジオ、家庭用レベルでも赤外線センサーを使ったデバイスとPCが必要になるなど、どうしても規模もコストも大掛かりになりがちだった。「mocopi」はその全身モーションキャプチャーを、スマートフォンと小型の6個のセンサーで実現できるという革命的なデバイスだ。
今回はこの発表の詳細と、その後行なわれた質疑応答、そしてデモンストレーションが実施された。発表したのは、ソニー株式会社新規ビジネス技術開発本部モーション事業推進室室長の相見猛氏。さっそく、内容をお伝えしていきたいと思う。
「スタジオレス」、「小型・軽量」、「シンプル」の3点揃ったモーションキャプチャーデバイス
まず相見氏はこの商品が誕生した市場背景として、アバターを介したリッチなコミュニケーションが盛り上がりを見せていることを挙げる。特に今回の商品について注目しているのがVTuber業界や、これからさらに規模が拡大していくと思われるメタバースだという。
全身のモーションをキャプチャーすることでVTuberはこれまでなかったような新しい動画を作れるし、アニメーション制作でも3DCG製作者にも新しいアニメーション制作が可能になる、さらにメタバース空間でもこれまで全身を動かそうとすると、かなりの重装備が必要だったところが一気に手軽になる。幅広い人に体験の可能性を広げることを目指しているのだという。
例えば「さすがに全身フルトラッキングは敷居が高い」と感じているユーザーにも「こんな機材があるなら自分もクリエイターになりたい」と思う人がいるはず。そういったユーザーにアプローチしていきたい思いがある。
それを相見氏は「フルトラッキングのモーションキャプチャーは今は一部のプロフェッショナル業界の技術かもしれないが、今後はカメラで写真を撮ったり、動画を撮るような手軽さにしていきたい」と話した。
そんな「mocopi」の特徴については、「スタジオレス」、「小型・軽量」、「シンプル」の3点を挙げた。
スタジオレスについては、これまでモーションキャプチャーで思い浮かべられる景色は、トラッカーをつけてカメラに囲まれたスタジオの中で撮影するのが代表的だった。それが小型のセンサーを身につけて、スマートフォンだけを使用することでモーションキャプチャーができる。スタジオや、PC機材を置いている場所だけでなく、屋外でもモーションキャプチャーができることが魅力だと話す。
そして小型・軽量については、センサーの直径はそれぞれ500円玉くらいの大きさで非常に小さくできており、専用のスーツに着替えたりすることなく、モーションキャプチャーできることが強みだと話した。
シンプルさについては、PC上で複雑なことをしなくても、普段使っているスマートフォンで動画そのものの撮影や、モーションデータのキャプチャーができることを挙げた。
発売時点で動作を確認しているのは「VRChat」、「Unity」、「MotionBuilder」、「Virtual Motion Capture」（VMC）で、2022年12月15日にSDKを公開し、外部サービスの開発に貢献する予定だという。
他サービスとの連携で拡大を目指す。機能アップデートも予定
その後質疑応答が行なわれたので、その内容をお届けしたい。
――ほかのメタバースプラットフォームなどの拡張性はありますか。
相見氏：SDKという形で外部と連携し、他のサービスと繋げていくのは進めていきたいと考えています。現時点で具体的にこの会社さんと進めているなどは申し上げられないのですが、一般的な方向性としてサービスを拡大していくというのは考えています。
――今後センサー点数を増やすことは可能でしょうか。
相見氏：技術的な可能性としては日々考えています。ただ発売時点はきっちりと6点で使えるように作り込みをしているので、センサー点数を含めた機能アップデートは発売後順次ロードマップを発表してお伝えしていければと思います。
――センサー点数を増やすと精度は上がるのでしょうか。
相見氏：一般論として精度は上がっていくのは確かにそのとおりです。ただ今回は重要なポイントとして。簡単なセットアップや、どこでも使える、スマートフォンで処理をしている関係で、今の6個というのが我々としても非常にバランスが良いと考えています。
――逆にセンサー点数を減らすことはできるのでしょうか。
相見氏：色々検討はしていますが、意図したパフォーマンスを楽しんでもらうため、発売日時点では6点とさせていただいております。
――6つのセンサーがそれぞれBluetoothと繋がっていると思うのですが、それぞれに遅延が発生すると思います。そこの整合性をあわせる機構は入っているのでしょうか。
相見氏：各センサーがタイムスタンプを持っており、それをスマートフォン側で同期しているので、最終的な結果にはズレは発生しません。
――スマホの端末は発表されている機種以外に拡張される予定はあるのでしょうか。
相見氏：対応機種は我々の方でパフォーマンスを担保できているものを並べています。そのためAppleストアやGoogleストアからダウンロードは可能ですが、使えるかの保証はない状況です。ただ今後対応できる端末は広げていけるように検討したいと思っています。
――競合製品はありますか？
相見氏：一般的にモーションを取るものはPCを別途必要とし、PCの値段も影響するため同じ価格帯として比べるのは難しいです。ただ価格帯としてはこういったデバイスを使って表現をしたいクリエイターの方にかなりインタビューして、ちょうど良い価格帯に設定できていると思います。
――スマートフォンは必須ですか？
相見氏：今のところはスマートフォンが必須になっています。PCは色んな種類があるので、「このPCなら大丈夫」という互換性を取るのが難しいので、一旦はスマホということになっています。またPCを前提にすると外でモーションキャプチャーをするような面白い体験が損なわれてしまうので、一旦はモバイルでモーションキャプチャーができるという体験を訴求していきたいと思います。
――技術的なバックグラウンドについて、プロフェッショナル向けの製品があってその技術をもとに作られたのか教えてください。
相見氏：高精度なシステムを作ったわけではなくて、小型のセンサーを使ったセンシングについて様々な技術資産があってそれを組み合わせたところから始まっています。そのためこのデバイスのために弊社の技術をパッケージしたものになっています。
――モーションジェスチャーなども考えているのでしょうか。
相見氏：ソニー株式会社として取り組んでいない領域が広くあると思っています。そのためにも今回SDKを出し、色んなユーザーや開発者の方にアイデアを出していただいて新しい体験を作っていただく。このSDKが広がって、様々な、思いもしないような体験を作っていただくというのが希望です。
――表情などのトラッキングも可能になる予定ですか？
相見氏：顔や手の動きもとても大事だと思っています。そのためにVMCを標準サポートしていることで、例えばVMCに顔をキャプチャーする別のシステムを使って、VMC上で合体させるということは簡単に実現できます。また顔や手指を動かしていきたいという方々には、SDKで対応する方法もあると思います。
――海外展開の予定について教えてください。
相見氏：モーションキャプチャーという文化は日本だけではないと思っています。ただ発売時点ではしっかりと日本の人にお届けしたいということで、詳細は別途決まり次第案内していきます。
――人体以外の動きを取ることは想定していますか。
相見氏：直近の今後では単刀直入にありません。人体の動きを再現するためにディープラーニングで処理をしているので、例えば犬の動きとかは技術的にそこまで固められていないです。
――モーション事業は製品開発に特化するのか、ソリューションとしてやっていくのか。大まかな方向性を教えてほしい。
相見氏：モーション事業推進室以外を含めて、ソニー株式会社の一般的な考え方としてハードウェアだけではなくて、ソリューションを含めてビジネスを展開していきたいと考えていますので、ハードウェアが目立ちますが、SDKを使って様々なサービスが弊社またはサードパーティを含めて全体の事業として成立すると考えています。
付けてても全く違和感を感じない超軽量小型デバイスに感動！
デモンストレーションでは実際にmocopiのセンサーに触れて装着すること、モデルが実際にmocopiを装着して動作をして披露するもの、そして実際の活用の1つとしてVRChatでの動きを見ることができた。
本製品に触れてまず感じたのは、とにかく小さく、軽く、その上で手を出しやすい値段という印象だ。もちろん赤外線センサーを使ったモーショントラッキングの方が性能は良いだろうが、スマートフォンと組み合わせれば野外などでも使える手軽さや、センサーの装着の容易さは突出したメリットになっている。全身の動きをアバターに反映させる面白さをこの手軽さで実現できるならば、より多くの人のクリエイティビティが刺激されるようなデバイスだと思う。
実際にmocopiのセンサーを間近で見てみると、本当に「小さくて軽い」。センサー1個あたりのサイズは32mm×11.6mmで、重さは8g。センサーには付け外し可能な専用のベルトとクリップが付属しており、付ける場所は後頭部、両腕、腰、両足の6箇所。頭部分はヘッドバンド、手首と足首はリストバンドの要領でベルトを固定する。腰部分はズボンの腰回りの背中にクリップを引っ掛ける形だ。
付けてみると、サイズ感は小さめの腕時計と同じくらいの印象で、8gという重さはベタな表現で恐縮だが「つけていることを忘れる」ほど。こうした小ささと軽さを含めてフィット感はかなりよく、重さで動きが制限されるような違和感はなかった。体験後、装着したセンサーを外し忘れ、その場を離れそうになってスタッフに呼び止められたほど、といえば伝わるだろうか。
センサーの起動も簡単で、充電器を兼ねているケースからセンサーを取り出し、真ん中にあるボタンを押せば起動完了だ。バンドにはマグネットとツメを使ってカチッと固定する形になっており、激しい動きをしてもセンサーが外れることはない印象だ。むしろ外れないためと、検出精度を上げる2つの意味できっちりバンドを締めることの方が重要になりそうだ。
また印象的なのがパステルカラーを使ったデザインで非常にポップだったのも印象的だ。こういったデバイス類は黒を中心とした無骨なデザインになることが多いが、軽く小さい上に可愛らしいデザインということで、より老若男女問わず受け入れられやすいデバイスになっていると感じた。
では、mocopiを使用する流れを追っていきたい。装着は前述通り、後頭部、両腕、腰、両足にセンサーをつける。6箇所にセンサーをつけるとは言え、装着自体はかなり簡単かつ軽いのでそれほど大げさな装着作業にはならない。
センサーを装着した後はスマートフォンでセンサーとのペアリングを行なう。これもボタンを押して一定時間待てば良いという方式で、難しそうな手順などはなかった。
センサーがペアリングできたあとはキャリブレーション（標準化のための調整）を行なう。これはまず直立姿勢で立ち、数秒から十数秒ほど時間が経つと音がなるので、そのタイミングで一歩前に歩けばよいというものだ。
事前の準備としては以上で完了で、以降はアプリ上でモーションキャプチャーの様子を見ることができる。
スマートフォン上では動いているアバターの姿をそのままビデオ形式で録画したり、モーションをデータとして保存できる。アバターの姿をビデオ形式で録画する時も、背景をグリーンバックなどにして後々の編集加工がやりやすくなる機能も搭載されていた。
なおアプリはVRM形式のアバターに対応しており、自分の持っているアバターを持ち込むことが可能。モーションのデータはBVH形式で吐き出され、そのままUnityやBlenderといったアプリケーションで読み込むことができる。
気になる遅延についてだが、mocopiからスマートフォンまではほとんど遅延は気にならない。デモでは歩いたり、足を上げたりする動作から、ダンスや正座（！）まで様々な動きをしてもらったが、かなりちゃんと動きが取れている印象だ。ただ加速度センサーを使用している関係上、15分に1回程度の簡易なキャリブレーション、30分に1回程度の通常のキャリブレーションをすることを推奨しているという。
一方で、6点のセンサーとディープラーニングを使った動作の推測で動きを反映しているため、苦手な動きというのもいくつかあった。一例を挙げると、横に寝転ぶのが苦手なようで、寝転ぶと地面にめり込んでしまう現象があった。ヘビーなVRユーザーの一部にはVRゴーグルをしたまま睡眠をする「VR睡眠」という文化があるが、寝転ぶとうまく動きがトラッキングされないのと、そもそも仰向けに寝ると後頭部のセンサーが床に当たり電源がオフになってしまう可能性があるので、少し工夫が必要になりそうだ。なおバッテリーは10時間以上持つ想定とのことなので、その点は安心できる。
Quest 2、VRChatと連携して即時の全身メタバース体験
そして実際にVRChatで使用しているデモンストレーションも見ることができた。
今回デモンストレーションが行なわれていたのはMeta Quest 2とmocopiを組み合わせた環境で、ソフトウェアはQuest版のVRChatだ。
Quest 2と組み合わせて使用する場合は、頭と両手のトラッキングはQuest 2とコントローラーのデータを使用し、腰と両足はmocopiのセンサーのデータを使っている。
実際に手足を動かしてもらったが、動きが一度VRChat上を経由して反映されるため、ほかのプレーヤーから見ると少し動きが遅れている印象だった。とはいえこれは他のデバイスを使った時も同様で、動いているプレーヤー本人としてはほぼ遅延無しで自分のアバターが動いているのだという。
今回はあくまでデモだが、Quest 2とスマートフォンの組み合わせでいきなり全身モーションキャプチャー環境が作れてしまうところは非常に魅力的だ。全身の動きが反映されるということは、下半身を含めて全身を使って他の人とコミュニケーションできるということであり、このリッチなメタバース体験がいきなり手元に来る感覚はまさに革命的と言えるのではないだろうか。
現時点では、VTuberや、VRSNSでの使用などがパッと思いつくが、今後は多くの開発者やサードパーティがSDKを使い、様々な使い方を開発し、デバイスが多くの人々に行き渡ることになると思う。エンタメ方面はもちろん、もしかしたら教育や研究といった用途にも利用されるかもしれないと思うほど、お手軽かつ使いやすいデバイスだと感じられた。