バーチャルモーションキャプチャーとLIVを使ってMR合成する方法 #3「MR合成でSTYLYの空間をつくる」

2020年03月25日

このシリーズではバーチャルモーションキャプチャー（以下VMC）とLIVを使って、アバターとSTYLYの空間をMixed Reality（MR）合成する方法をご紹介します。本記事では実際にVMC とLIVをつかってMR合成をおこない、STYLYのVRモードで空間をエディットしていきたいと思います。今回ご紹介する内容は、これまでの記事でご紹介した内容を前提としているため、過去の記事とあわせてご覧ください。 LIVのバージョンが各記事で異なるため、設定画面に違いがあるのでご注意ください。今回もV1.0.0を前提にご説明します。また、今回ご紹介するLIVを使用するには相応のスペックを持つPCが必要となるため、ご利用の環境によっては満足に動かない可能性もあるのでご注意ください。

1 残りの設定をしよう
2 STYLYの空間をエディットする

残りの設定をしよう

LIVの概要と初期設定について

バーチャルモーションキャプチャーとLIVを使ってMR合成する方法 #1「LIV概要～初期設定」

externalcamera.cfgファイルの作成方法

バーチャルモーションキャプチャーとLIVを使ってMR合成する方法 #2「externalcamera.cfgファイルの作成」

前回の記事までの手順を踏んでいれば、LIV側での設定はほとんど出来ています。あとはVMCの仮想Webカメラの起動、クロマキー処理の設定や出力画面の解像度などの設定をおこない、OBSなどのキャプチャーソフトの設定をおこなえば、MR合成動画を撮影できます。

仮想Webカメラと解像度の設定（VMC）

まずは、VMCの詳細設定から設定画面を開き、仮想Webカメラをオンにします。ここがオンになっていないと、LIVにVMCの画面が送られないので、忘れずにチェックしましょう。

仮想Webカメラをオンにする

次に解像度の設定をします。LIVのカメラプロファイルで設定した解像度と同じ解像度を、VMCの解像度設定タブから選択し、適用のボタンを押してください。適切な解像度が設定されていないと、LIVのアウトプット画面にエラー画面が表示されます。正しく設定出来ている場合は、LIVのアウトプット画面にVMCの画面が表示されます。

LIV側で設定したものと同じ解像度を選ぶ

正しく設定されていないとこのような画面に

正しく設定されている場合

クロマキー処理の設定

クロマキー処理を設定します。今回はグリーンバックで処理をおこなうので、VMCの背景を緑色にします。ただし、緑色を使ったアバターでは背景だけでなくアバターまでもが透過処理されてしまうので、背景をブルーバックや他の色にしてください。

今回はGB（グリーンバック）を選択

今度はLIV側を設定します。Camera ProfilesのEditを選択し、KEYINGを選択してください。Colerでクロマキー処理をする色が選べるので、VMCの背景色に選択した色と同じ色を選択してください。正しく設定されていると、背景色が抜かれて背景が真っ黒に表示されます。黒色で表示されていますが、実際には透明なので、本当はアバターだけが表示されている状態になります。

VMCの背景色と同じ色を選択

クロマキー処理後

出力画面の設定（LIV）

最後にLIVの出力画面の解像度を設定します。この画面にMR合成された映像が表示されるので、録画したい映像の解像度やFPSを設定しましょう。

解像度やFPSの設定

合成開始

これで設定は完了です。あとはCAPTUREでSTYLYを選択して合成を開始するボタンを押せば、VMCとSTYLYの画面が合成されてLIVの出力画面に表示されます。この画面をOBSなどのキャプチャーソフトで録画すれば、MR合成の動画ができます。

一番下のボタンをクリックすると合成ができる

STYLYの空間をエディットする

では、実際にSTYLYの空間をVRアプリでエディットしてみましょう。LIVでVMCとSTYLYの映像を合成していること以外は、通常の場合と何も変わらないので、普段と同じようにエディットできます。また、VMCには自身の視界にアバターの姿を表示させる機能はない（腕や手などを見れない）ので、アバターの姿を確認したい場合は、VR空間内に表示されているLIVの出力画面で確認しましょう。