動画生成AIにチャレンジ

　最近動物がモデルのAI動画が流行っているみたいで，私もちょっと作ってみたいと考えています。
やり方は色々あると思いますができればローカル環境でやってみたいので，省メモリで動作するというFramePackを使ってみようと思った次第です。

ワンクリックパッケージをインストール

　環境構築について調べていると，お手軽に始められるワンクリックパッケージというものがあることがわかりました。こちらとこちらのWebサイトを参考にしてインストール作業を行いましたが，ワンクリックというだけあってとても簡単でした。

とりあえず5秒の動画生成にチャレンジ

　ワンクリックパッケージのUIは元になる画像とプロンプトを入力し，いくつかの項目を設定すればOKというとても分かりやすいものです。

今回テストで使用したダックスの画像はAdobe Expressで生成しました

まずは，以前LTX-Videoでも生成したことのある５秒の動画を生成してみました。LTX-VIdeoは最速2分台で生成できましたが，FramePackは何と１秒の動画生成に17分以上かかっているようでした。しかも生成途中でConnectionResetError: [WinError 10054]が出ていたので何らかの不具合もあるのでは…という感じです。
しかしながら，生成された動画は以前LTX-Videoで生成したものよりも高品質な印象でした。

高速化パッケージをインストール

　最初のテストはデフォルトの設定のまま生成実行しましたが，Stepsを減らすと速度向上できるのかもしれません。
生成途中のタスクマネージャーを見るとGPUのメモリは設定どおり6GBの使用で動作していますが，メインメモリはほぼすべて使い切っていました。加えてSSDへの書き込みもかなり多いので，スワップが発生しているのかなという印象です。メモリを増やせば多少は改善するのかなと感じています。

さらに色々調べていくと，こちらのサイトで高速化するパッケージがあるという情報を得たのでインストールしてみました。このパッケージはXformers，Flash Attn，Sage Attnの3つのプログラムをインストールするもののようです。とりあえず設定は変更せずに生成実行したところ，１秒の動画生成が13分台に短縮されました。しっかり高速化されている感じです。更にStepsをデフォルトの25から15に減らして生成実行すると，１秒の動画生成が9分台になりました。

ファーストインプレッション

　今回使ってみたFramePackですが，私の環境ではとにかく生成に時間がかかります。もう少し設定を工夫して高速化するか試していく予定です。
生成完了するまでかなり待たされますが，出来上がった動画は高品質でかなり使えるツールだと感じました。長尺動画は無理でも10秒くらいの動画がもう少し速く生成できるとうれしいですね。
FramePackはComfyUIの拡張機能版もあるので，そちらも使ってみたいです。