今回はRGBに「奥行き(Depth)」情報を加えた「RGB-D」画像から、立体的な写真である「3D写真」を生成し、STYLYにアップロードする方法をご紹介します。
サンプル
こちらが実際に制作した3D写真を配置したサンプルイメージです。
静止画だと少々物足りなさを感じてしまう時や、3D写真を使用することで新しさを感じる空間を作成することが可能になります。
完成イメージ
事前準備
まずは3D写真を作成するための準備をしていきます。
海外の研究チームが開発した画像補間モデル（機械学習）を使用して作成していくので、以下のURLをGoogleアカウントにログインした状態で開いておいてください。
3D-Photo-Inpainting.ipynb
https://colab.research.google.com/drive/1706ToQrkIZshRSJSHvZ1RuCiM__YX3Bz#scrollTo=5o-EIMeaghU0
今回はこちらの二枚の画像を3D写真にしていこうと思います。
人物と背景が同化していない分かりやすい画像を選ばないと綺麗に切り離されて3D化されないので注意しましょう。
3D写真にする素材
3D写真とは
3D写真とはバージニア工科大学にインターンシップ中のMeng-Li Shih氏、バージニア工科大学の大学院生のShih-Yang Su氏、Facebookリサーチで働くJohannes Kopf氏、バージニア工科大学の助教Jia-Bin Huang氏の4人が開発した技術です。
この技術は4人が発表した論文によると、前景（テクスチャ）と背景（奥行き）レイヤーから構成されるLayered Depth Image(LDI)とカメラが移動した時の空白をピクセルごとに色と深度情報を繰り返し合成していくことができる画像補間モデル（機械学習）を組み合わせることにより精巧な3D写真を生み出せると記載されていました。詳しい事を知りたい方は3D Photography using Context-aware Layered Depth Inpainting内でシステム面の詳しい説明がなされているのでこちらをご覧ください
説明してしまうと少しばかり難解なイメージになってしまいますが実際の作業自体は誰でもできる仕組みになっています、それでは早速3D写真を作成していきましょう。
3D写真を作成する
それでは実際に3D写真を作成していきます。
事前準備に記載したURLに飛ぶとこのような画面になります。
メイン画面
まずは「ファイル」から「ドライブにコピーを保存」を選択してください。
ドライブにコピーを保存
コピーしたデータ上で「Prepare environment」下の再生ボタンをクリック。
「Prepare environment」下の再生ボタンをクリック。
上記の処理が完了したら「Download script and pretrained model」下の再生ボタンをクリック。
「Download script and pretrained model」下の再生ボタンをクリック
上記の処理が完了したら「Switch off off-screen rendering」下の再生ボタンをクリック。
「Switch off off-screen rendering」下の再生ボタンをクリック。
ここまでの処理が完了したら、「ファイル選択」をクリックして、3D写真化したい画像を選択。
そして「Please upload」下の再生ボタンをクリック。
「ファイル選択」をクリックして3D写真化したい画像を選択。「Please upload」下の再生ボタンをクリック。
上記の処理が完了したら最後に「Execute the 3D Photo Inpainting」下の再生ボタンをクリック。
「Execute the 3D Photo Inpainting」下の再生ボタンをクリック
最後に処理が完了したら左メニューの「更新」をクリック。
「更新」ボタンをクリック
「3d-photo-inpainting」の中の「video」フォルダ内に出力された3D写真が4種類でMP4形式となって保存されています。
生成した3D写真は「video」内に保存されています
GIF画像を作成する
STYLYではYoutubeから動画のアップロードが可能ですが、今回は作成した3D写真をGIF画像に変換してSTYLYにアップロードする方法をご紹介します。
まずはSTYLY STUDIOに配置したいmp4形式の3D写真を分かりやすいようにフォルダ分けしておきましょう。
分かりやすいようにフォルダ分け
次に以下のURLに飛んでください。
GIFMAGAZINE
https://gifmagazine.net/converters/movie_to_gif
URLに飛んだら動画→GIFを選択してください。
動画→GIFを選択
次に秒数指定の画面が出てくるので6秒に設定してください。
長さを6秒に設定したら「変換する」を選択
これでループするGIF画像が作成できました。
STYLYにアップロード
最後にSTYLYにアップロードしていきます。
まずはAssetsを開きます。
「Assets」を選択
今回は写真データなので「image」を選択してください。
「image」を選択
次に「select」を選択し、配置したい写真を選択したら青色の「Upload」ボタンを選択してください。
「select」を選択し写真を選んだら「Upload」を選択
そうするとどの比率の画面で配置するのか選択する画面が出てくるので「16:9 Screen」を選択。
「16:9 Screen」を選択
そうすると大きさが写真に合っていないオブジェクトが配置されるので「Scale」を選択し大きさを調整しましょう。
「Scale」を選択して大きさを調整する
最後に自分の好きな位置に写真を配置して完成です。
完成！
難解な印象のある機械学習ですが3D写真を作るのはご紹介した手順を踏んでいただければ30分ほどで完成すると思います。
この機会にぜひ3D写真に挑戦してみてください。