XRライブパフォーマンス「CUE」はどうして生まれたのか GHOSTCLUB 0b4k3 × Artist phi16 × パルコ安藤対談

2022年04月12日

0b4k3 – ow (2022-edit) / CUE [Archive]

NEWVIEW FEST 2021 OPENING PARTYにて0b4k3さん、phi16さんによって渋谷PARCOで行われたXRライブパフォーマンス「CUE」。
現実空間とバーチャル空間のレイヤーをまたぐパフォーマンスは、XRコンテンツのフォロワー層はもちろん、STYLYのエンジニア、アーティストをも驚かせました。

その「CUE」がどのように生まれ、どのように作られたのかを制作者の0b4k3さん、phi16さん。
そしてパルコ・安藤さんを迎えてSTYLY MAGAZINE編集部が掘り下げていきます。

—本日はよろしくお願いします。初めに自己紹介いただいてよろしいでしょうか。

安藤：パルコの安藤です。よろしくお願いします。

安藤寿一

株式会社パルコ　デジタル推進部
2013年４月に入社。静岡PARCO、宇都宮PARCOにて店舗の宣伝関連業務を担当。2017年9月より現部署に配属となり、以降XRをはじめデジタル関連業務を担当。渋谷PARCO「SHIBUYA XR SHOWCASE」はじめ、PARCOにおけるXRの活用トライアル施策を推進。

0b4k3：0b4k3です。普段は「GHOSTCLUB」というVRクラブの主催とディレクションを行っています。最近は縁あって様々な案件でディレクション業をしています。よろしくお願いします。

0b4k3

VRクラブ「GHOSTCLUB」主催、Director。近年はVRSNS「VRChat」内で開催された「SANRIO Virtual Fes in Sanrio Puroland」一部会場のディレクションや、「FORGOTTEN［Vocal：ermhoi (Black Boboi / millennium parade)］/ MONDO GROSSO」の2DMV、VRMVのディレクションを担当した。

phi16：phi16です。基本的にはやりたいことを好きにやっていて、最近はほぼ某VRChat関連で物を作っていることが多いような人です。

phi16

コードを書く人。グラフィック関連をよく触っている。
「CUE」にはArtistとして参加。抽象と構造が好き。

1 状況と偶然から「CUE」が生まれてきた
2 ComMunEがバーチャルに接続されるまで
3 リアルとバーチャルを重ねる演出
4 STYLYだったからこそ「CUE」は生まれた
5 VRシーン体験方法

状況と偶然から「CUE」が生まれてきた

—さっそくですが「CUE」が生まれた経緯をお聞きしたいです。

0b4k3：まず「NEWVIEW AWARDS 2020 PARCO PRIZE」を受賞させていただいたことで、パルコさんと作品を共同制作をすることが決まりました。2021年の春ごろから本格的に制作が始まったのですが、当初のパルコさん側からの依頼はAR作品を制作して欲しいという内容でした。
PARCO PRIZEの受賞者にはパルコさんとAR作品を共同制作する権利が与えられるのですが、僕がNEWVIEW AWARDSに提出した作品「TECHNOVINEGAR」はVR作品だったんですよね。なので、まさかAR作品を制作することになるこの賞を頂けるとは思っていなくて、受賞した時は嬉しさと驚きと不安が入り混じったような複雑な感情でした。
そう思ってしまうくらいには、ARに対して苦手意識というか、そもそも興味を持てる対象ではなかったし、経験も無かったので企画段階でかなり苦戦しました。何を作っていいのかよく分からなかったんですね。

それに、AR作品の制作は現地での調整が非常に重要だと思うんですが、当時はコロナ禍真っ只中だったのでそれも現実的ではなく、展示場所を想像しながら企画を考えるしかありませんでした。そんな状況だったので「これは面白いのか？」「成立するのか？」と自問自答してしまって進行状況はあまり芳しくありませんでした。そんな状況が3ヶ月くらい続いていましたね。

さすがにこのままでは埒があかないので、ARの要素だけでなく、これまで僕が親しんできたVRの要素も加えることで、もっと面白くなりそうだし制作もやりやすくなるのではないかと考え、「AR作品を作る」というそもそもの企画から一旦見直すことになりました。
企画を見直してからは、目指す完成形が段々と視えるようになってきました。同時期くらいに作品の展示場所が渋谷PARCO内にある「ComMunE（コミューン）」を使用する事がほぼ確定したので、この段階でようやく完成に向けた制作を行える状態になりました。

あと、僕は普段の作品を制作をする際に最初の0→1は一人でやる事が多いんですが、1→10にする作業は色々な人と考えながら行っているので、今回の制作にも誰かと一緒にやれたら良いなと思い、たまに一緒に作品制作を行っているphi16さんが空いてそうだったのでこのタイミングで声をかけて参加してもらう事にしました。実際には全然空いてなかったみたいなんですが（笑）

phi16：暇だということにしたので（笑）

0b4k3：当時、別件でめちゃくちゃ忙しそうだったんですけど、それを見ないふりをしつつ誘ったら幸いOKが貰えました。

phi16さんと一緒に制作をする事が決まった段階で企画をより具体的にしていきました。これまで自分がやってきた“音と演出を組み合わせる”ということを会場であるComMunE上で行って、且つ、単なるAR的な作品というよりも、VRも巻き込んでしまって“XR”という事にしてしまえば、これまで様々な試みが行われた“バーチャルと現実の組み合わせ”という表現に対して僕ら側の解釈として何か違った事ができるのではないかなと思いました。その結果が「CUE」ですね。

渋谷PARCO 「ComMunE（コミューン）」

—いろんな現象や状況が組み合わさった結果「CUE」になっていた、みたいなことなんですね。

0b4k3：そうですね。結局はいつもやってることを組み合わせた方が早かったというか、まとまりが良かったみたいな感じでした。

phi16：フォーマットとしてはいつものをベースとしたものなんですけど、その中でもできるだけ何か面白いこと・外れたことや、いつもの場所ではできないことをやろう、っていう意気があったと思います。

—求められていたものや用意された場で制作していったら「CUE」になってたというのはすごく面白い話です。安藤さんは「CUE」があの形になったことを、どう感じましたか？

安藤：さっき0b4k3さんが言っていたように、最初は僕も迷走した部分もあります。PARCO PRIZEを受賞したクリエイターさんとPARCOというロケーションを組み合わせたらどんな化学反応が起こるだろう？というところで、0b4k3さんにAR作品を作ってくださいと提案をしてみたというのがスタートです。

ただ、それとは別に、僕のチームとして今年やりたかったテーマがあって。今までは「すごいクリエイターさんのARが展示されてるぞ！という“告知”と“演出”を頑張ることでバーチャルへの接点を作って、作品を見てもらおう」というバーチャルへの接続をやってきたんですが、今回は“リアルとバーチャルが必然的に繋がっている作品”を作りたいなって考えていたんです。
それで0b4k3さんが「CUE」の提案をくれたときに「そういえば最初はリアルとバーチャルが繋がったものをやろうと思ってたのに忘れちゃってたな」って、心を洗われたような気持ちになりました。
偶然0b4k3さんが提案してくれたものなんですけど、最初目指したものと結果的にすごく近いご提案をいただいて、すごくラッキーだったと思っています。

ComMunEがバーチャルに接続されるまで

—お話を聞いて、CUEの演出は偶然的な要素が大きかったんだと思いました。
元々0b4k3さんがずっとやっているGHOSTCLUBが、バーチャルの中でありながらすごく現実的な質感がある場所という面白さがありますが、逆にリアルの場にバーチャルの場を重ねたいみたいな考えがもとからあったのか？というのが気になっています。

GHOSTCLUB（写真撮影: MANE）

0b4k3：そもそもの話として、今回の大本の企画的に現実に存在するPARCO店内のどこかで作品を公開しなければならなかったので、やりたいやりたくないに関わらず、現実とバーチャルを重ねた作品である必要があったんです。
幸いにも、現実側の会場であるComMunEそれ自体の空間がとても良かったんですよね。現地には行けなかったので確認用にフォトグラメトリのデータを頂いて、試しにそのモデルデータに照明とかDJブースをポンと置いてみたら、それだけで結構良い感じで。もうこれだけでも完成してるじゃんってぐらいすごくしっくりきたんですよね。

ただ、その段階ではまだ“これぞ”という案は出ていませんでした。そんな中、phi16さんがComMunEにある“単管”をとても気に入って、これをどうにか演出に組み込めないか、みたいな話になったんです。
それで、単管に対してプロジェクションマッピングとか、そういうことができたらいいんじゃないの？みたいな話をしたんですが、結局どうなったんでしたっけ。

phi16：位置合わせが厳しいってなって。

0b4k3：そうそうそう。位置合わせも厳しいし、他にも厳しい要因が色々あるよねってなって。それで、これは誰が言ったか忘れたんですけど「布を掛けよう」みたいな話になってきて……。

phi16：いろいろComMunEの写真を見ていたら、過去のイベントで布が掛けられているのを見かけたんです。布だったらお願いしたら掛けてもらえるんじゃないか？っていうことになって。

0b4k3：それで、布を掛けられるんだったら、布を縦にこう……バンって掛ければもうそれだけで良くない？みたいな話になって、実際に思いのほか良くなって、当時はもうこれで勝ちじゃんみたいなことを思いました。

安藤：Twitterにも書いてましたよね（笑）

0b4k3：書きましたね（笑）。ComMunEがもう既に出来上がっている空間というのもあって、光を映すだけじゃ弱いんですよね。そこに布を掛けてあげることによって「ComMunEだけどComMunEではない」空間になって、あとは布と鉄骨をVRと現実の方でシンクロさせる。そうすると現実とバーチャルの繋がりを構造として持っていけるから、VR上で無理にComMunE自体を再現しなくてもいいしフォトグラメトリを使う必要もなくなったし、それで演出的な意味では抜けた感じがありましたね。

布と単管でバーチャルに接続されたComMunE

—単管がすごくいい味を出していたんですよね。単管が現れたりちょっと目立たなくなったりとか光が当たったり当たらなかったりみたいな。それだけですごいかっこよかったですね。

安藤：今回別の与件でComMunEを使うことになったんですが、今0b4k3さんの話にあったように、バーチャルとリアルを結びつける“単管”というアイコンがあって、なおかつそこにVRの情報を伝える“布”という結節点がプラスされたことで、リアルとバーチャルの関係がめちゃくちゃ強固になったと感じました。当日、リアルとバーチャルをスイッチャーさんがいい感じに切り替えてくれた配信を見たときに、映像が何の違和感もなくリアルとバーチャルの関係が曖昧に共存した世界になっていたのは、この二つのアイコンがあってこそなんだろうと思います。うん、布は本当によかったですね。

リアルとバーチャルを重ねる演出

—「CUE」においてリアルとバーチャルを重ねる演出のテクニカル面のお話を伺わせてください。

phi16：当日現場で投影されていたあの映像はSTYLY上で動いてるものではなくて、私がUnityでビルドしたアプリケーションからの出力なんです。細かい制御とかスクリーンにどう映すかなどを遠隔で制御したくて。現地に行かなくてもオペレーションできるという状況を作る為にいろいろと仕込んだんです。
テクニカル面で一番気になっていたのは、同期です。複数台のプロジェクターがちゃんと同じタイミングで再生されるか、というのが一番不安な部分でした。音楽にぴったり合わせて作ってる演出なので、ズレると残念になってしまいそうで。現地に行っていないので正確にはわからないんですが、少なくとも配信を見る限りでは、多少前のモニターはズレてしまってはいるんだけど概ね問題ないかなという程度で、なんとかなったぐらいに思ってます。

—現場ではSTYLYを使わなかった理由は何だったのでしょうか？

phi16：STYLYでも一応HTTPリクエストを送信できるということを制作終盤で知ったんですが、それだと瞬時の切り替えには向かないと思って。現地での投影用カメラの切り替えや音のオンオフを制御したかったんですが、それならHTTPリクエストで定期的にチェックするよりかは、WebSocketでずっと繋いでしまった方が気楽よねってことでWebSocket経由で私のサーバーと繋いでリアルタイムで好きに弄れるようにするプログラムを作ったんです。

おかげでノータイムで反応が帰ってくるし現場の異常もすぐ確認できたので、当日の安心に大きく繋がりました。

—現地で苦労したエピソードなどはありましたか？

phi16：配信ではSTYLYのVRシーンと現場のカメラ映像とを混ぜるように、重なるように映していただいたんですけど、あれは当日の朝に調節をしていて。現場のカメラの位置から見える映像を携帯端末のカメラで撮ってもらって、それを受け取って位置ぴったりにUnity上で合わせてもう1回シーンをアップデートする、ということをやっていたんです。なのであのアングルは当日に決まったもので「これで本当に合うのかな？」とか「どうせ合わないよな」みたいな気持ちで調節をしていました。
どうしてもカメラを置く位置は現地に置けるまでわからないというお話もあり、その他も確認することが多かったので当日朝のオペレーションは結構複雑だった覚えがあります。

安藤：NEWVIEW FESTのオープニングパーティーの一部としてイベントをやっていた中で、全体の進行の都合でステージの位置が変更になった影響を受けたり、イベントって結構難しいなって僕も思いました。変わったことに当日気付いて、何とかならないか？みたいな話を現場でやったり、ちょっとだめそうだと0b4k3さんに相談したり。

NEWVIEW FESTのオープニングパーティー

phi16：完璧は無理だなって感じでしたね。

0b4k3：現場の大変さを思い知らされましたね。

安藤：僕もこういうライブ系のコンテンツを初めてやる中で、ちゃんと頭に入れておかなきゃいけない観点っていうのが全然洗えてないっていうのがあって。結構、当日になってもいろんなことがあったなっていうか、2日前のミーティングで決まったことも結構多かったですよね。

0b4k3：そうですね。把握できていない要素がかなりあったような。

安藤：セッションの要領も、結局Fixさせたのは2日前でした。

0b4k3：僕も本当は当日現地に行く予定で、現調とかも直前までやって会場準備もお手伝いする予定だったんですが、一気にオミクロンが流行してしまったので、僕もphi16さんも、今回の制作をサポートしてくれていたPsychic VR LabのDiscontさんも現地に行けなくなってしまいました。結局、メインの制作メンバーが安藤さん以外誰も現場にいない状況になってしまったんですね。それが判明したのが本番の一週間前とかで。

その影響で当初予定していた作品の内容を変えなきゃいけない部分も発生しましたね。現実側の演出として、布の中でVR機器を被ってVR側で行われている演出を体験してもらいつつ、現地に居るHMDを被っていない人には布に投影されたVR側の演出と同期した光とVR機器を被った人々が体験している“様子”それ自体を鑑賞してもらうというのが本来予定していたものでした。ですが、感染状況が悪化して現地に人を集められなくなって、それができなくなってしまったんですよね。

結果として、僕が企画とは無関係に個人的に持っていた「無人の現実の会場で僕のアバターだけが存在していて、その状態でライブをやる」というアイデアに近い状態になったので、その点に関しては寧ろ好意的にその変化を受け入れてましたね。もちろんそんな都合の良い話ばかりではなかったんですが。多くの人が関わる現場というのはこんな感じで不安定で直前に選択して判断しなければならない事だらけなのだなという事を痛感しましたね。

ライブ現場でゆれるGHOST達（ライブ動画より抜粋）

—ライブの現場に人間がいなくて、「GHOST」という名前のアバターがゆらゆらしているのは良かったと思いました。

0b4k3：あんまりこういうことを言うのはよくないなと思いつつ言っちゃいますけど、僕は正直無人でやれて良かったなって思っていて（笑）。安藤さんもおっしゃっていましたが、現場はずっとバタバタしていて、メインの制作班も現場での調整が思うようにできなかったので、あの状況で、もしもお客さんをいれていたら多分うまく進行させる事ができなかったんじゃないかな……。あとphi16さんのシステム的にも、もしお客さんを入れてとなると……。

phi16：VRが入るとさらに音と映像の同期が怪しいので……。

0b4k3：かなり不安定な状況かつ、それを遠隔でどうにかしなければならない状況だったので、なるべく面倒な要因を増やしたくなかったですし、結果的にあの形でやれてよかったのかなと思っています。

安藤：これは僕も同感です。そもそもの話で、VR機器とPCが5台追加になると会場の電力がヤバいという話もあって。不幸中の幸いで、いろんなことがクリアになったこともあります。ただ、それを抜きにしても最後出来上がった映像を見たときは「やっぱり「これが正解だったんだ」という気持ちになりました。

STYLYだったからこそ「CUE」は生まれた

—最後に、STYLYにもっとこういう使い方ができたらいいのになとか、クリエイター目線での忖度ないご意見をお聞きできればと思います。

0b4k3：今回は最初から「STYLYを活かした制作」をしようとしていたので、不満や諦めみたいなものが発生することはなかったです。

phi16：そうですね、さっき「CUEは偶然的に生まれた」みたいな話があったわけですけど、偶然というよりも「フォーマットが決まっている中で、できる限りをやっていったらこうなった」という形なので、逆に必然的でもあるんです。だから、違う場所でやると違うものができるし、それはそれで多分良くなる。「CUE」はあまりSTYLYの作品らしくないルックではあるとおもうんですが、これはこれでSTYLYでできることの範疇を模索した結果、自然と生まれた表現だと思っています。

0b4k3：作品の展示場所がSTYLYだったからこそ「CUE」は生まれたのだと思います。VRChatでやっていたらまた違ったものを作っていたでしょうし。プラットフォームに応じたものを作らなければならないというのは、ストレスに感じる部分がないって言ったら嘘になるんですが、それ以上にそのプラットフォームから受けられる影響みたいなものがあると思うんです。それはすごくクリエイター的にはありがたい事だなと思いますね。

phi16：ちょっと枷をかけることで逆に楽しくなることは多いですよね。

0b4k3：縛りプレイも好きなので、そういう意味で言えば今回のこの企画はとても良かったなと、本当に、他意なく思っています。やっぱりSTYLYの一番良いところって、閲覧性の高さだと思うんですね。Web、スマートフォン、Quest、PCVRと色々なデバイスから作品を体験できるというのは、とても良い点ですよね。

phi16：やっぱりそれがめちゃでかくて、携帯機で動くってことが前提になるからこそ単純なライティングだけで効率的に良い絵を出す、という方向で進めていけたので。

0b4k3：そうそうそう。今回の話で言うと「CUE」って、リアルタイムポイントライトが1灯しかないんですよね。1灯だけであの空間を照らしていて、それだけなのにあの情報量が出ている。
多分VRChatとかだともっと贅沢にライトを置いたりすると思うんですが、マルチプラットフォームに対応しなきゃいけなかったりとか、そういう過程のおかげでいろいろなものを引いていって、結果的に本質だけが残ったからこそ「CUE」が生まれたのかなと思っています。

phi16：私は元々そうやって場所に合わせてものを作っていくタイプで、なんでも面白いことがあればやっていきたいという気持ちでいるので、今回それがちゃんと表現として表に出たのが良かったなと。

0b4k3：そうですね。なんかXRライブができて良かったなって感じですね。

phi16：XRライブと呼ばれるXRライブ。

ーまさしくXRライブでしたね。

0b4k3：“XRライブ”の話は、phi16さんとインタビューでしたいよねって話をしていたんです。

安藤：今回の、まず布がつけられたバーチャルComMunEを作って、それに合わせて現場にも布をつけ、そしてお客さんはバーチャルの方にいるという、バーチャルが主体で、それに現実を追いつけるという主従関係を持ったXRライブって、僕は初めて見たという気持ちがあって。それもまた新鮮で面白かったです。

phi16：その話をまさしくしたんです（笑）

0b4k3：これまでのXRライブは現実側の立場や視点から作られたものが多かったのかなという印象があるんですよね。

phi16：VR時代前からの引用っていう感じですよね。

0b4k3：そうですね。なので、普段VRを主軸に活動している人間が、現実に干渉するようなものを作ると、こういう形になるんだなっていうのは、作っていて僕ら的にも面白かったです。
ただこれまでやった事がない試みだったので「ちゃんと現実側の人間を没入させることができるのか？」みたいな不安はあったんですが、実際に現場で鑑賞していた方々の反応を見ていると、うまくできていたようで安心しましたし、何か良い試みができたのかなとも思えました。新しいというと大げさかもしれないですけど、また違ったXRライブの形を提示できたのかなと思っています。

取材のお時間をいただきありがとうございました。

VR上で活動していた0b4k3さんとphi16さんのクリエイティブと、現実に場を持っている渋谷パルコという2つの違う場が混ざり合うということで生まれたXRライブパフォーマンス「CUE」は、VRとAR、現実とバーチャルなど、さまざまな文脈をクロスするという意味でも「XRライブ」を新たな次元に昇華させた唯一無二の作品となっています。

VRに馴染んではいるが今までSTYLYは馴染みがなかったという方も、ぜひ、新たにアーカイブとしてリメイクされた「CUE」を体験してみましょう。