LightX2V-4Step-Lora

　画像生成でもよくある4Stepsで生成を可能にするLoRAです。同じようなLoRAがいくつかあるようですが，そのうちのひとつを試してみました。下記のWebサイトに実装方法が詳しく記載されていたのでその通りに進めました。

ComfyUIでMiniMax H3のLightX2V-4step-lorasを試してみた（I2V / R2V）｜混合順

いくつかのカスタムノードをインストールしてワークフローにLoRAローダーのノードを入れるだけでした。他の高速化の手法と同時に使用可能です。動画を生成してみると4Stepsでは5秒の動画を80秒台で生成できますが動くときに映像が乱れ，音声も残念な感じでした。
6stepsにすると生成時間は90秒台で音声は概ね改善されますが，映像は動きが大きい部分で乱れます。8Stepsにすると生成時間は110秒台で映像も概ね改善された印象です。
試行錯誤する段階で，MiniMax H3 Mem Eff Sage Attention PatchとModelSamplingMiniMaxH3という2つのカスタムノードをワークフローに入れました。また，生成時間が少し長くなるようですが，Patch Sol-Attnノードのtau値を0にすると，映像の乱れが改善されるように感じました。
現在は8stepsで利用していますが，私の環境では生成時間が110～140秒台です。このLoRAを使わずに20stepsで生成すると150～170秒台で生成できるので，使った方がいいかは微妙な感じです。

私が生成している動画の設定

　私が使っているPCは動画生成AIを使うには厳しい性能なので，解像度は480x704，時間は5秒でMiniMax H3を使っています。この設定で，Krea2やPony系モデルを使って生成した画像を元にi2vで動画を生成していますが，私の環境では上記のLoRAを8stepsでつかって概ね5秒の動画を2分台で生成します。
今回はこの設定を変更して動画を生成してみました。

10秒動画にしてみる

　時間ごとにシーンを区切って動きやセリフを入れて動画を作ると，いろいろ盛り込みすぎるためか5秒では足りないと感じました。
動画の時間を2倍の10秒にして生成時間がどのくらいになるか調べてみました。3回ほどチェックした感じでは4分台で生成できました。5秒で2分台なので順当な結果でした。
下記の記事を見ると短い時間の動画で動作を詰め込みすぎると破綻しやすいと書いてありました。反省です。（つい色々と詰め込んでしまうんです）

AI写真ラボ / AIバーチャルカメラマン on Twitter / X

解像度を元画像と同じにしてみる

　解像度を480x704に設定しているのは元画像の解像度が832x1216で，私の環境では低い解像度で動作させたほうがいいかと考え，短辺を480ピクセルにして長辺を合わせたためです。これを元画像と同じサイズで生成時間がどのくらいになるか調べてみました。4回ほどチェックした感じでは5～6分台で生成できました。総ピクセル数が約3倍になっているのでそれなりに時間がかかりますが，思っていたよりも速いです。
生成にかかる時間は長いですが，できあがる動画を比較するとかなりきれいです。今まで動きが大きいところで映像が乱れると感じていたのは解像度が低いせいだったのかもしれません。
一度これを見てしまうと元に戻れない感じですが，生成時間は短い方がいいので高解像度が必要な場合だけ使うのがいいかなと考えています。

前回の記事のサンプル動画の解像度を832x1216ピクセルに変更して生成した動画です

やってみたいことがたくさんある

　私はまだi2vしかやっていないのですが，MiniMax H3は下記の記事で紹介されているようにリファレンス画像や音声を渡して動画を生成することや複数の動画をつなぎ合わせて長い動画を生成することもできます。
すでに様々なカスタムノードがリリースされていますが，公式からも低ステップ版やアップスケールモデルのリリース，画像生成モデルのリリースなどが予定されているようで，Krea2とともにしばらくはまって使うことになりそうです。

【西川和久の不定期コラム】 Sora 2超えでSeedance 2.0に迫る！動画AI「MiniMax H3」が凄まじいクオリティだった