Kinetixを使用してダンスなどの動画から3Dモデルに動きを抽出する方法パート1

今回から2つの記事にわたり、Kinetixというサービスの基本的な使用方法・編集方法などを紹介します。

Kinetixとは？

ダンスなどの動画からアニメーションを抽出し、3Dモデルへ動きをつけることができるプラットフォームです。
一連の作業は全てウェブ上で完結し、コードを書く必要もなく、無料で利用可能です。

このサービスを活用し、STYLYでの作品にもダンスなど様々な動きを取り入れてみましょう！

Kinetix：https://www.kinetix.tech/

アカウント登録をする

全ての機能を使用するにはアカウント登録が必要です。
サイトトップページ右上のLOG INをクリックします。

そしてアカウント新規登録する場合、画面下のSign upをクリックしてください。
Sign up with の右横のアイコンをクリックすると、それぞれのSNS（G→Googleアカウント、F→Facebookアカウント）を通してログインできます。

Firstname	名前
Lastname	苗字
Email address	メールアドレス
Password	パスワード（大小文字、記号と数字含め8文字以上）
□ I would like to receive…	メルマガ購読する場合はチェック
□ I have read and accept…	規約に同意する場合はチェック

全て入力が完了したらContinueをクリックします。
確認メールがすぐ送られてくるのでチェックしましょう。

メールアドレスの間違い等再送信したい場合は下記のResend Emailをクリックします。

メール内のACTIVATE ACCOUNTをクリックします。

メールアドレスが認証されサイトに自動遷移します。
利用条件が表示されるので、最後に右下のAccept termsボタンをクリックしてください。

メールアドレス認証と利用条件承諾が完了すると、プロフィール選択画面に移ります。

I am a …(私は…)

Amateur	アマチュア
3D animator	3Dアニメーター
Freelance 3D animator	フリーランス3Dアニメーター
Creative professional	クリエイティブプロフェッショナル
Student	学生
Other	その他

I will use Kinetix to… (私は…のためにKinetixを使う)

quickly create 3D animations	素早く3Dアニメーションを作る
easily create 3D animations	簡単に3Dアニメーションを作る
create more 3D animation	もっと3Dアニメーションを作る
optimize my production workflow	制作ワークフローの最適化
eliminate tedious tasks and focus on creativity	面倒な作業を排除し、創造性にこだわる
eliminate tedious tasks and focus on quality	面倒な作業を排除し、品質にこだわる
learn how to animate	どのようにアニメーションするか学ぶ
make easy prototypes	簡単なプロトタイプを作る
see what the future of animation will look like	未来のアニメーションがどのようになるか見るため

and I work for… (私は…で働いています)

a video game studio	ビデオゲームスタジオ
a cinema studio	シネマスタジオ
a VFX studio	VFXスタジオ
a media agency	メディアエージェンシー
a communication agency	コミュニケーションエージェンシー
an AR/VR/XR agency	AR/VR/XRエージェンシー
Other	その他

最後に+Start creatingのボタンをクリックします。

KinetixのUI説明

アカウント登録が終了したら、いよいよKinetixを使用できます。
UIは以下のようになっています。

①Dashboard	ログインして一番最初に出るページです。
②Projects	過去に作成したプロジェクト一覧が表示されます。
③Create a new project	新しいプロジェクトを作成します。
④Samples	サンプル動画一覧が表示されています。
⑤Add clip	動きを抽出したい動画を追加します。
⑥Log out	ログアウトします。

Kinetixを使用してみる

まずは、③のいずれかをクリックし新しいプロジェクトを作成します。
プロジェクト名を入力したら+Confirmのボタンをクリックしましょう。

すると新しいプロジェクトが作成されます。
Add clipをクリックし、使用したい動画を追加します。

自分で用意した動画を使用する

PC上のビデオをドラッグ＆ドロップします。
あるいはYoutubeなどウェブ上のビデオのURLを入力すると直接ビデオをアップロードできます。

今回はフリーの画像・動画サイトPexelsから以下の動画をダウンロードし、クリップとして使用しました。

使用した動画：https://www.pexels.com/video/a-man-dancing-ballet-in-a-room-8462221/

ビデオをドラッグ＆ドロップするとファイル名、時間、サイズが表示されます。
Importのボタンをクリックしてビデオをインポートしましょう。

インポートが完了するとビデオを編集できます。
ビデオの大きさや秒数から一部切り抜くことが可能です。

編集が終わったら+Next stepのボタンをクリックしましょう。

編集が完了したビデオに新しく名前をつけます。

クリップが準備完了するまでしばらく待機します。
長時間経っても変わらない場合は、ブラウザの更新ボタンをクリックしましょう。

ファイルの準備が完了次第メールで通知されます。

CREATE NOWをクリックすると、先ほどアップロードしたクリップを使用したアニメーションを作成できます。

ビデオからアニメーションが抽出されました。

Dashboardからクリップを選択し編集することも可能です。

動画からなるべく正確にアニメーションを抽出するコツ

今回作成したアニメーションは所々に不安定な動きが見られます。
正確なアニメーションを抽出するためには、どのような動画を使用すると良いのでしょうか？
公式サイトで推奨されている点をまとめました。

MP4の動画を使用する

KinetixはMP4、AVIそしてMOVに対応していますが、高速で正確な抽出が可能なMP4を推奨しています。

対象となる人物の全身を常にカメラに収める

全てのフレームに人物の全体像が映っていることがとても重要です。
障害物や乱雑な背景などで全身のパーツと動きを妨げないようにしましょう。
必要であれば動画アップロード後クロップして使用してください。

カメラを一台のみ、安定した状態で撮影する

自作映像を使用する場合なるべく三脚を使用するなどして安定した状態で撮影しましょう。
前方あるいは後方の奥行きある動きの抽出は難しい為、カメラの撮影位置にも注意してください。

連続した映像を使用する

繋がりのあるスムーズなアニメーションを作成するためには、なるべくワンショットの動画を使用しましょう。

体のラインが分かる衣服を着用する

動きの抽出には、人物の全身のラインが必要です。
大きい靴やルーズな服、帽子などのアクセサリーは避け、タイトなフィットネスウェアなどを着用しましょう。

照明や背景の明るさ

明るさは体の全体像がはっきり見える程度に設定しましょう。
特に、背景が暗かったり逆に明るすぎてもアルゴリズムを混乱させます。
自然で均一な照明が最適です。

解像度720pixelのビデオを使用する

解像度が高いとFBXを計算する時間が長くなってしまい、逆に解像度が低いとアルゴリズムが人体を検出することができなくなります。ぼやけていない、十分な高解像度を確保してください。

フレームレート
Kinetixでは20fpsから120fpsまでのすべてのフレームレートをサポートしています。
フレームレートが低い場合は、動作が速くなりすぎないように注意しましょう。
120fps以上のフレームレートはいずれ対応するそうです。

Kinetixライブラリを使用してカスタムアニメーションを作る

自分で用意した動画ではなくKinetixライブラリにあるサンプルアニメーションから作成する場合は、DashboardのCreate a new projectを選択後、一番下にあるStart a new animationのボタンをクリックします。

するとアニメーション作成画面に切り替わります。
画面左上のAnimationをクリックすると、Kinetixライブラリのアニメーション一覧が表示されます。

そして一覧のいずれかをクリックすると、画面下部のタイムラインに追加されます。

次回の後半記事ではアニメーションの編集方法や詳細設定など、Kinetixをさらに活用する方法を紹介します！