私自身が注目していることもあり,最近はFlux.1関連の記事ばかりです
Flux.1 Devモデルで生成時間を速くするLoRAです
Flux Dev to Schnell 4 step LoRAは前回の記事でお知らせしたDevモデルを4Stepsで生成可能にするLoRAです。WebUI Forgeではうまく動かないということだったので様子見していましたが,先日git pullすると何かアップデートしたみたいだったのでもしかしたら使えるかもと思い,試してみました。
ダウンロードはこちらからです。私は今回BF16版を使って検証してみました。
1枚20秒台で画像が生成できました
最初LoRAの強度を0.3で生成したところ,周辺部が生成されませんでした。次に強度を1にして生成すると,全体的に画像が生成されました。(ダウンロードページを見ると強度1で使用するように書かれていました。きちんと見ないといけないですね。)
生成された画像を見るとLoRAを使わないときのDevモデルの感じと同じように感じます。下のサンプル画像はうまくできたものを採用していますが,手の生成がうまくいかないことが多かったです。FLUX.1は手の生成もきれいなので,LoRAの影響かなと考えています。
Stepsを増やしたら改善するかなと思い,6Stepsや8Stepsを試しましたが改善はしませんでした。基本4Stepsで使ってよさそうです。
下のサンプル画像は,モデルにfluxescoreDev_v10BnbNf4を使い,すべて6Stepsで生成しています。2枚目にはanzu-flux-loraも使っています。
「画像が荒くなる」を検証
このLoRAの存在を知ったのは,「生成AIグラビアをグラビアカメラマンが作るとどうなる?」という連載記事を書かれている西川和久さんのXのツイートでした。この連載も以前から拝見させていただいており,有益な情報を自分の画像生成に使っております。そのツイートの中で画像が荒くなるというコメントがありましたのでちょっとチェックしてみました。
LoRAなし20Steps(1枚目)とLoRAあり4Steps(2枚目)で生成した画像を拡大して比べると確かに荒れた感じが見られました。下のサンプル画像だと髪の毛の描写や制服の質感に違いがあるように見えます。このサンプル画像のモデルは flux1-dev-fp8です。今まで使っていたNF4モデルよりも高品質のFP8モデルですが,私の環境でも使えました。
3枚目は別サイトで紹介されていた設定で,画像サイズを512×768ピクセルにして,HiresFixで2倍アップスケールで生成したものです。少し良くなっているかな?という感じです。
このLoRAにはより高品質なFP32版があること,Schnell LoRA for Flux.1 Dというよりきれいに生成できるLoRAも紹介されていたので,こちらも後日試してみます。
私の環境では有効なLoRAです
今回検証してみて,課題もありますが今まで1枚約2分かかっていたDevモデルの画像生成が20秒台で可能になったのは大きいです。
私の環境のように,GPUがメモリ8GBでスペックがギリギリという方には有効なLoRAだと思います。私はSDXLを使うときもLCM-LoRAを常用しているので,Flux.1でも活用していく予定です。せっかくFLUX.1を使うなら高品質なDevモデルを使いたいので,少ないStepsでよりきれいに生成できるLoRAをみつけたいです。
この記事へのコメント
コメントはまだありません。
コメントを送る