[AI]STABLE PROJECTORZでテクスチャを自動生成する方法

本記事ではSTABLE PROJECTORZを使用してAIでテクスチャを生成する方法を解説します。

STABLE PROJECTORZはローカル環境でStable Diffusionを使用するので、GTX 1080以降、適切なCPU、12GB以上のRAMが必要になります。使用前に自身の環境を確認しておきましょう。

インストール方法

STABLE PROJECTORZ にアクセスし、DOWNLOAD INSTALLER (EXE)をクリックしインストーラをダウンロードします。

ダウンロードしたインストーラーを開き、画面の指示通りにYesを押していきます。

インストール場所はデフォルトが推奨されているので特に何も変更せずに進めます。

インストールが完了するとPCの再起動が必要になるので、インストールを完了する前に他のソフトウェアの内容を忘れずに保存しておきましょう。

PCを再起動し、STABLE PROJECTORZを起動すると、Stable Diffusionに必要な要素のダウンロードが自動で始まるので終わるまで待ちます(5~30分くらい)。

STABLE PROJECTORZが使える状態になると、自動でブラウザのStable Diffusionが起動し、STABLE PROJECTORZの画面右下の電波マークが緑色になります。

画面中央のピンク色になっている「No model yet.Press~」の部分をクリックしてControl NETのDepth modelをダウンロードします。

次に、C:\Users\ユーザー名\Documents\Stable Projectorz\stable-diffusion-webui-forge-main
に移動しwebui-user.batファイルを見つけ右クリック→編集で開きます。

開いたら”set COMMANDLINE_ARGS= –api –skip-torch-cuda-test”を見つけ、”skip-torch-cuda-test”の部分を”xformers”に書き換え、保存します。

保存した後はSTABLE PROJECTORZを再起動してください。

これで準備は完了です。

画面説明

使用方法の解説の前に、操作の説明をします。

モデルビュー

回転	ALT+左クリック
視点移動	右クリック
拡大縮小	ALT+右クリック

 

プロンプトウィンドウ

Positive prompt	プロンプトを入力する場所。どのようなテクスチャにしたいかを決める。
Negative promt	テクスチャに入ってほしくない要素を入力。
Model	使用するモデルを選択する。デフォルトでは1つのみ。
Sampling Method	ノイズ除去の手法を選択する。基本的には「DDIM」か「DPM＋＋2M Karras」。
Sampling steps	イズ除去のクオリティ調整。数値が大きいほど テクスチャの精度は上がるが、生成スピードが遅くなる。
Width & Height	生成されるテクスチャの解像度を調整する。
Batch Count	生成の回数を選択する。基本は1。
Batch Size	1度に何種類の画像を生成するかを決める。4がおすすめ。
CFG Scale	どの程度プロンプトに従うか決める。数値が低いほど自由な出力になり、高いほどプロンプトに従う。
Seed	シード値を変えると同じ設定でも少し違った結果を生成できる。

プロジェクトを保存するにはCtrl+[S]キーを押して保存先を選択します。

保存したプロジェクトを再度開く際には、そのプロジェクトを直接ダブルクリックで開いてもデフォルトの画面が表示されます。

STABLE PROJECTORZを起動し、画面下のSAVEにカーソルを合わせるとLOADが表示されるのでそこをクリックして保存済みのモデルを起動してください。

使用方法

それでは実際にテクスチャを生成してみましょう。

今回使用するモデルは、Luma AIを使用して生成したメッシュです。
Luma AIについては下記の記事で詳しく解説しています。

3D OBJタブでデフォルトのモデルを削除し、Load Modelをクリックしてもモデルを追加します。

追加出来たらARTタブに移動し、BakeAOをクリックします。

そうするとアンビエントオクルージョンのマップがベイクされます。

試しに一度プロンプトを入力してテクスチャを作ってみましょう。

今回は宇宙人のテクスチャを作りたいのでPositive Promptに

(masterpiece:1.3), alien, HR Giger, gross, organic, high quality art

と入力し、Negative Promptに

low res, blur, low quality art,

と入力しました。

入力したらBatch Sizeを4に変更してGEN ARTをクリックしたら生成が始まります。

テクスチャが生成されました。

ここで一度プロジェクトを保存しておきます。
Ctrl+[S]キーで適当な場所にプロジェクトを保存することができます。
保存したプロジェクトを再度開く際には、そのプロジェクトを直接ダブルクリックで開いてもデフォルトの画面が表示されます。

STABLE PROJECTORZを起動し、画面下のSAVEにカーソルを合わせるとLOADが表示されるのでそこをクリックして保存済みのモデルを起動してください。

このままではモデルの前面のみにしかテクスチャが反映されないので全ての面に投影されるようにモデルを配置します。

画面右上のCamsのバーをスライドすると視点のカメラを増やすことができます。

カメラの数値を6に変更し、モデルにカーソルを合わせるとどのカメラにどの画角のモデルが映っているか確認できます。

それぞれの画角をモデルの全体が映る様に移動します。

モデルを配置したらGEN ARTをクリックしてテクスチャを生成します。

モデルを確認すると全体的に色がついていますが一部黒くなっている部分がありますので、この部分を塗り足して行きます。

ビューポートのどれかのモデルを選択し、黒くなっている部分が見えるようにしたら右上のScreenMASKをクリックして塗りたい部分を塗ります。

塗り終わってGEN ARTをクリックすると、塗った部分にのみテクスチャが生成されています。

このままだと少し他の箇所と比べて浮いてしまうので、色みを調整していきます。

ARTタブでテクスチャにカーソルを合わせると円形のパラメータが表示されるのでドラッグ
＆スクロールで数値を変更して色みを調整しましょう。

エクスポート

作成したテクスチャを保存します。

画面下のSAVEをクリックするとテクスチャを保存することができます。

その際に下の－＋ボタンからテクスチャの解像度を選択可能です。

モデルをBlenderで読み込んでみました。テクスチャが反映されています。

他の学習済みモデルの使用方法

ControlNet

CTRLNETsタブに移動し、Model:の横のMoreをクリックします。

SDXLモデルを使用する場合はMore(XL)をクリックします。

そうするとhuggingfaceのリンクが開くので、任意のControlNetをダウンロードします。

huggingfaceのリンクが開くのと同時にエクスプローラーでSTABLE PROJECTORZのControlNetファイルも開くのでダウンロードしたControlNetをそちらに移動します。

その後STABLE PROJECTORZのCTRLNETsタブに移動し、Modelをクリックすると先ほど追加したControlNetが表示されます。

Model

画面左のModel:の横のMore?をクリックするとCIVITAIのサイトが開きます。こちらのサイトから好きなBaseModelをダウンロードします。

CIVITAIのリンクが開くのと同時にエクスプローラーでSTABLE PROJECTORZのStable-diffusionファイルも開くのでダウンロードしたモデルをそちらに移動します。

その後STABLE PROJECTORZに移動し、Modelをクリックすると先ほど追加したモデルが表示されます。

ここでの注意点は、名前にXLと表示されているモデルは同じく名前にXLと表示されているControlNetしか対応していません。SDXLモデルとXL対応ではないControlNetを使用するとエラーが表示されてテクスチャが生成されません。

その他の詳しい情報やアップデートなどはSTABLE PROJECTORZのHPやDiscordサーバーで随時更新されていますので興味のある方は覗いてみてください。

STYLYへアップロード

実際にSTYLYへアップロードして使用しましょう。
今回はUnityのシーンをそのままSTYLYにアップロードするので、こちらをご参照ください。

STYLYアカウントを作成する
Sign up for free

アカウント作成方法