コンポからWalkmanにハードが変化した事で、今までは家で聞くのが当たり前だった音楽を、多くの方が外に持ち出すようになった。 いわば音を纏う社会へと変貌した、とも言えるだろう。
VRは空間を纏う新しいメディアだ。だからこそ、VRと音は体験者に取って違和感がなく、非常に相性がいい。
では、音が生み出すストーリー性やグループ感を2Dではなく3次元に最適化された形で表現するにはどうすべきか？
その問いに対するアンサーとして、NEWVIEW AWARDS 2018にてKaleidoscope賞を受賞したオムニバス・ジャパン所属のメンバーで構成されたクリエイティブ・ユニット「TeamMIKAMI」が手掛けた ” ENCLOSURE ” という作品がある。
本作は「音の空間」をコンセプトとしたインスタレーション作品だ。
本記事では同メンバーがなぜ本作品を制作するに至ったのか、その狙いと作品制作に関する様々なTIPSに関して伺った。
プロフィール
TeamMIKAMI (from OMNIBUS JAPAN) │ （ @TeamMikami ） クリエイティブユニット｜日本 作品名：ENCLOSURE
オムニバス・ジャパンに所属する岡 翔三郎、河上 裕紀、三上 英樹の三名からなるクリエイティブユニット。日本科学未来館のジオコスモスコンテンツ「inside」の制作や、インスタレーション作品「NOCTILUCA」の制作など, 様々なデバイスに対して積極的に作品を制作している。今作品ではSound Designに塚本 啓介、CGデザイナー / 西 夏央を加えての制作。
BGMではなく、音の空間に入る
— まず初めにNEWVIEWを知ったキッカケを教えてくれますか？
河上：会社の上司からNEWVIEWワークショップの情報をもらい、参加したのがキッカケです。
— 応募しようと思ったのはなぜですか？
河上：アワードに参加することで制作したものを審査員の方々を始め、多くの人に見てもらえるのは良い機会だと思ったので。 。。。グランプリの賞金に目がくらんだというのも一理あります。
ENCLOSURE from STYLY on Vimeo.
— なるほど。今回、制作された「ENCLOSURE」はどのようなコンセプトで作られたのでしょうか。
河上：「音の空間」をコンセプトとして制作しました。 VR上で作品を作るにあたり、オーディオビジュアル・アートのような絵と音に関連性があるものを作りたいと考えました。 空間にBGMとして音楽を使用するのではなく、音楽が持つ空間にHMDを通して入っていくようなイメージです。
— 本作品の制作手順と制作期間をお教えください。
三上：制作期間はアイデア出し&テストに1ヶ月、実制作に半月ほどです。 使用ツールは3Dモデル作成およびアニメーションにCinema4D、画音をまとめるのにUnity、音源作成はcubaseを用いました。 
三上：具体的な制作手順ですが、まずENCLOSUREという音と映像の関係性を重視した作品を制作するにあたり、画と音は同期するのか？という部分がとても重要でした。 アニメーション付きFBXと、同尺の音声ファイルをそれぞれSTYLYで読み込むと、ループするたび徐々に画音がズレてしまいます。 いろいろ試してみると、Unity上でオブジェクトと音声を一括でSTYLYへ出力すれば同期することが判明しました。 空間音声に関してはいくつかの作品をSTYLY VRで見ているうちにオブジェクトベースの空間音声が再現できると分かり、取り囲むような音場表現の方向性も定まりました。 
次に問題となったのが、”どのぐらいのオブジェクト数を表現できるのか”。 これはもう大量のオブジェクトを読んでみて、ダメなら減らす…という 地道な作業を重ねています。 ただこの点に関しては、STYLYのUnity用プラグインを用意していただいたこと、そしてコンテスト期間中にアップデートされ、Unityのシーン丸々を出力できるようになったことがとても大きかったです。 （参考記事：UnityからSTYLYにアセットをアップロードする方法 ） また、音が発生するオブジェクトに適宜モノラルの音声ファイルを配置、それぞれに音の聞こえる範囲を設定し、離れても音程が変わらないよう、UnityのデフォルトでONになっているドップラー効果を無効にしています。 今回はSTYLYのUnity用プラグインの助けもあり、スクリプトは1行も書かず完成することができました。 
— ありがとうございます。他にも全体的な空間表現に関する技術的な部分でお話できることがあれば、お教えいただけますか？
岡：STYLYではオブジェクト毎に音を貼り付けることで、方向や音量がインタラクティブに表現できるという点が非常に面白い所でした。 私たちは、制作初期の段階で、この機能を作品に盛り込もうと考えました。 しかし制御が容易でなく、複数オブジェクトが重なり合うようなシーンでは音が割れてしまうなど、思うような結果が得られませんでしたが、いくつかのサウンドエフェクトは曲と共にまとめて一つのWAVファイルにミックスダウンすることで改善することが出来ました。 ミックスダウン後、STYLYにパブリッシングを行い、HMDで絵を見ながら何度も、パンニング、音質、音量などを調整して仕上げました。
“見えるもの” “聞こえるもの” の違和感をなくす
— 本作品の中で最もこだわった部分はどこでしょうか。
岡：Cinema4Dでのオブジェクトを制作する際に「見えるもの」と「聞こえるもの」が自然に感じれるように、特に気を使って制作しました。 そして、それに最も適した表現のひとつとして、物理演算によるリアルなアニメーションという結論にたどり着きました。 物理演算はCINEMA4D上で行い、アニメーションをベイクしてからFBXに落とし込みUnityへとデータを渡すといった方法を取りました。
塚本：VRに対応した音と定位を固定させた音との音量や要素のバランスを考えるのが一番大変でした。 音を先行で作成しそれに映像を合わせるというやりとりを何度も行い、音と映像のマッチングを納得いくまで作り込みました。 DAWはcubaseを使用しています。 
— 最後に今後の展開をお教えください。
三上：TeamMIKAMIとして、様々なコンテンツを制作して行きたいと思っています。 一人ではなくチームで、大勢でなく少人数でやることの意義は大きく、各々が決定権を持ちながら得意分野を活かして作品制作ができる。 そのなかで純粋に「面白いな」とか「きれいだな」とか、プリミティブな部分で誰かの記憶に残るものが生まれて、新しい”ものづくり”につながればいいな、と考えています。 音というのは、空間のプレゼンスを高めるのに非常に重要な要素の一つだ。 その要素をアートに、音楽に、ライフスタイルにどう活かしていくのか？もちろんまだまだ答えはないからこそ、今から実験的に様々なアプローチを行うアーティストが一人でも多く出てくることが大切なのではないだろうか？ 今後もSTYLYを通じて、VR x 音をテーマにした作品が出てくると嬉しいと思う。