VR動画まで生成できるとは…
驚きの情報でした
MiniMax H3関連の情報をXで調べているときに下記のポストを見つけて驚きました。MiniMax H3でVR動画が生成できるらしいということで試してみました。
まずはt2vで生成
最初にリンク先のサイトにあったプロンプトを使ってt2vで動画を生成してみました。
H3 can do Side-by-Side VR/3D Videos natively
普通にプロンプトを入れて生成するだけでVR動画ができました。動画のサイズは864x480ピクセルです。
PCで動画を再生して立体視してみましたが,奥行き感のある映像になっていると感じました。
i2vにチャレンジしました
続いて,Krea2で生成した832x1216ピクセルの画像を使ってi2vでVR動画を生成してみました。
最初のフレームはSide-by-Sideにならずに元画像が横に引き伸ばされたような感じになりましたが,うまくいきました。
t2v,i2vともに数回VR動画を生成しましたが,Side-by-Sideにならないものが生成されることが多かったです。
元画像をSide-by-Sideにして動画生成
色々調べて下記のLoRAにたどりつきました。Side-by-Sideの画像を生成するLoRAです。
Stereoscopic-SBS-3D-Image (Krea2) - Krea2 - v1.0 | Krea 2 LoRA | Civitai
i2vでうまくVR動画が生成できないのは元画像がSide-by-Sideになっていないからではないかと思い,使ってみることにしました。
上記のWebサイトからサンプルのワークフローがダウンロードできたので,ますはこれを使ってみました。
このサンプルのワークフローはよくできていて,交差法と平行法の両方のSide-by-Side画像を一緒に生成してくれます。通常の生成では交差法の画像が生成されますが,VAEデコードの後に画面を2分割して左右を入れかえることで平行法の画像を生成しています。
Side-by-Side画像が生成できそうなことが確認できたので,普段使っているKrea2のt2iワークフローに必要なノードを組み込んでSide-by-Side画像生成用ワークフローを別に作りました。
LoRAの方はPCの画面で見てもしっかり立体視できる画像を生成してくれます。使っていて気になったの次の2点です。
1)謎の傘が登場する
LoRA強度1で画像を生成したところ,ほぼ確実に謎の傘が一緒に生成されました。強度を下げると登場頻度は下がりますが,時々登場します。
2)脱ぎっぷりがよくなる
サンプルの水着の画像は大丈夫でしたが,もう1つの方はなぜかことごとく胸が露わになってしまいました。普段使っているKrea2のt2iワークフローでは服を着ている画像が生成できていたので,このLoRAのせいかなと感じています。掲載している画像はプロンプトを一部変更し何とか公開できると判断したものです。
再度i2vでVR動画生成
できあがったSide-by-Side画像を使ってVR動画を生成しました。始めは864x480ピクセルで生成したのですが,元画像と縦横比が異なるために不自然な感じになったので,元画像と同じ1216x832ピクセルに変更しました。生成時間は最速で6分台と結構かかりますが,解像度を高くした分できあがった動画はきれいになりました。
また,元画像にSide-by-Sideの画像を使うと失敗することなくi2vでVR動画が生成できました。
(サンプル動画)
VR HMDで確認する
無事にi2vでVR動画が生成できましたが,VRのヘッドマウントディスプレイ(HMD)でどのように見えるのか確かめてみました。今回HMDはMeta Quest 3s,VR動画を再生するアプリはSKYBOXを使いました。動画の再生は問題なくできましたが,いくつか気づいたことがありました。
- 元画像は横長のものをSide-by-Sideにした方がよい
今回は縦長の画像をSide-by-Sideにしたので,HMDで再生すると中央部分のみに表示される形になってしまいました。下の画像はMeta Quest 3sの映像をPCにキャストしたものですが,HMDの画面も横長なので画面いっぱいに表示するなら横長の方がいいと感じました。
- どうしても平面的
奥行き感を感じる映像ではあるのですが,平面的な感じは否めません。同じVR動画でもVR180であればその場にいるような感覚になるので,MiniMax H3がうまく対応できると没入感のある映像を生成できそうです。
- 5秒動画は短い
5秒という長さでは設定を変更する途中で次の動画に進んでしまうので映像の見え方をチェックするのは難しいと感じました。
- 魚眼レンズ再生が意外によかった
動画再生アプリであるSKYBOXの機能で魚眼レンズ再生というものがありました。試しに使ってみたところ,画面いっぱいに映像が広がるので意外によかったです。














この記事へのコメント
コメントはまだありません。
コメントを送る