画像や音声を参照して動画を生成する
FL2VAにはない面白さがある
MiniMax H3が出てから1カ月あまり,かなりはまって使っています。これまでは1枚の画像を動画の最初のフレームとして設定し,その画像に動きを与えて動画を生成するFL2VAで楽しんでいたのですが,気になっていたRef2VAをやってみました。最近使っている4stepモデルがRef2VAにも対応しているので別途モデルをダウンロードしなくていいのが大きかったです。
ワークフローはComfyUIのテンプレートを使い,下記のWebサイトを参考にしながらプロンプトを入力して動画を生成してみました。
【簡単❗️楽しい❗️】もう1つのMiniMax H3 「Ref2VA」の使い方❗️|cue
今まではFL2VAだったので背景や服装は決まっていたのですが,Ref2VAだと画像の中で参照するものを自由に設定することができるので,人物の特徴だけを参照して背景や服装は別のものにすることが簡単にできました。
音声については,人物の声質のみを参照して任意のセリフをしゃべってもらいました。FL2VAではまったく意識していませんでしたが,動画の中の登場人物の声を統一するためには必要な機能だと感じました。
本格的に動画生成するならRef2VAを使う必要があるんだと実感しました。
使ってみて気づいたこと
- 低解像度だとH3 SLA Attentionで画質が低下する
私の環境はGPUのメモリが8GBしかないので,448x640などの低解像度で動画を生成することが多いです。FL2VAのワークフローを元にRef2VAに必要なノードを入れて新しいワークフローを作ったところ,生成した動画の画質が低下しました。
最初に使っていたテンプレートのワークフローでは画質低下が起こらなかったので,私のワークフローだけにあるノードが怪しいというこでチェックしたところ,H3 SLA Attentionが原因であることがわかりました。H3 SLA Attentionをバイパスしたところ,低解像度時の画質低下はなくなりました。
この現象は低解像度で生成したときのみで,中解像度(832x1216)で生成したときは出ませんでした。低解像度だとH3 SLA Attentionをバイパスしても生成時間は80秒台だったので,生成する解像度によって使い分けようと思います。
- 顔を同じにするのは難しい
FL2VAだと,最初のフレームが元画像なので顔が変わってしまうということはないのですが,Ref2VAだと参照画像を設定していても微妙に顔が変わってしまうことがありました。参照画像を2~3枚設定するとかなり近くなる気がしました。
- 長尺動画をつくるときは必須かも
Ref2VAと並行してH3 Motion Contextも少し使ってみました。生成した動画の続きを生成して長尺動画にできるカスタムノードなのですが,FL2VAで生成すると3回目くらいから顔が変化することがありました。Ref2VAならば毎回参照画像を設定できるので,顔の変化を防ぐことができるのではないかと思いました。次に使うときに試してみようと思います。
もっと使い込んでみたい
今回はちょっと試したくらいですが,FL2VAではできないことがいろいろできるので面白かったです。現在は5~10秒の動画を作って楽しんでいる感じですが,もう少し長い動画も作ってみたいと考えているので,今後はRef2VAも使い込んでいこうと考えています。









この記事へのコメント
コメントはまだありません。
コメントを送る