RefModでキャラ固定するといろいろできそう

　少し前の記事でRefModを紹介してから，結構はまって使っています。20枚程度の画像でキャラが固定できて，RefModファイルの生成もLoRAのように時間もかからないしマシンスペックも必要ないということで，私の環境でも活用できると感じています。

活用するためにオリジナルキャラ作成

　RefModを活用するにあたって，Web上に動画を公開できるようにオリジナルキャラを作ることにしました。
まずはKrea2でキャラクタシートを作ろうと考え，以下のプロンプトを使いt2iで生成しました。

Character sheet, white background,three-view,full figure, orthographic front view, side view, back views,and close-up of face.
RAW photo, 8k, masterpiece, best_quality, ultra HD quality, photorealistic,
（ここに生成したいキャラのプロンプトを入れる）
captured in ultra-high-definition photorealistic style with sharp focus, realistic textures, emphasizing her form. Cinematic photography style, ultra-detailed, shot on Sony A7IV with an 85mm f/1.4 lens, high dynamic range

上記のプロンプトで生成したキャラクタシートのサンプルです。実際に作成したオリジナルキャラは別のシートで作成しています。正面，横，背面の全身図と顔のクローズアップを1枚の画像におさめています。品質系のプロンプトはこんなに入れなくてもいいかもしれないです。

キャラクタシートを参照して複数の画像を生成

　次にこのキャラクタシートを参照して複数の画像を生成します。何かいい方法はないか調べたところ，以下のワークフローを見つけました。

Krea2 ID Edit Pro Grade Character Dataset Creator w/ SPEED Boost  & autotagger - V9.1 Vision Assistant  | Krea 2 Workflows | Civitai

早速ダウンロードしてワークフローを開きましたが，あまりのノードの多さに驚きました。どこでどんな処理をしているのかもわからない状態ですが，まずは不足しているノードと以下のLoRAをインストールしました。

conradlocke/krea2-identity-edit · Hugging Face

設定をして下記のノードに対して設定を行いました。上記のキャラクタシートは2つのファイルに分割して参照画像にし，モデル，テキストエンコーダ，VAE，LoRAの場所を指定しました。

画像を生成したところ，下記のノードでエラーが出ました。Sampler Nameにつながっていたノードがエラーで止まっていたのでこれを外したところ画像生成ができるようになりました。

このワークフローは１回の実行で20枚の画像を生成します。生成する画像のプロンプトもPG-13やAction Poseなどの8種類から選べます。

さらにはLoRA学習で使用するキャプションファイルも作成してくれるなど至れり尽くせりな作りになっています。その反面生成が終了するまでにはかなりの時間を要し，私の環境では1時間24分かかりました。

RefModファイルを生成

　最初に生成したキャラクタシートを4枚の画像に分割して合計24枚でRefModファイルを生成しました。
このRefModファイルを使ってMiniMax H3で動画を生成したところ，キャラは固定できましたがプロンプトで背景を指定しても参照画像の背景がそのまま出てしまうことがありました。背景の設定によってはプロンプト通りになることもあるのですが，気になるので参照画像の背景をすべて削除してRefModファイルを作り直しました。
これでオリジナルキャラで動画生成できるようになりました。下の動画はサンプルで生成したものです。

今後の課題

• 髪型を変えて動画を生成してみましたが，どうしてもポニーテールに変えることができませんでした。参照画像の髪型がツインテールだったのが影響しているのかもしれません。髪形を変更するならナチュラルな髪形で参照画像をつくった方がいいのかもしれません。
• キャラ固定は概ねできるようになりましたが，プロンプトによってはうまくいかないこともありました。
• Krea2 ID Edit Pro Grade Character Dataset Creatorは生成に時間がかかりすぎるので，別の方法を考えたいです。一緒にインストールしたKrea 2 Identity EditというLoRAを使うとキャラクタシートを参照して画像が生成できるのではないかと考えています。
• 次は声も固定できるようにしたいところです。元になる声はどうやって作ろうかな…