LoRAを使ってみました

　前回のテストではプロンプトにjapaneseをつけるとアニメ調の画像が生成されることが多いFLUX.1ですが，これを回避するためにLoRAを使ってみました。
今回利用したのはyayoimixやfudukimixなどのモデルの作者であるこたじろうさん作のyayoi-loraです。ダウンロードはこちらです。
これが効果抜群でアニメ調の画像が生成されることがほぼなくなりました。LoRAのトリガーワードがjapanese womanなのでプロンプトにjapaneseが入っていてもLoRAが適用されてアニメ調にならないのではないかと考えています。新しいLoRAも公開されていたので試してみようと思います。

何とか動いている感じ

　私の環境ではGenerateボタンを押すと，コマンドプロンプトにはPatching LoRAs for kModelと出てそこから2〜3分くらい作業が始まります。どうも先にLoRAを読み込む作業をしているようですが，タスクマネージャーを見ると16GBのCPUメモリをほぼ使い切っているみたいでフリーズしたかのように他の操作を受け付けない感じになります。この作業中GPUはほぼ動作していないです。
それが終わると画像の生成が始まります。ここからはGPU使用率100%でしっかり動いています。FLUX.1を使うときはメモリもGPUも限界ギリギリで動いているようです。それでも何とか最新の画像生成AIをお試しできたのでよかったです。
上記のような動作で最初の1枚は結構時間がかかりますが，LoRAの読み込み作業は一度実行すれば2枚目以降は不要みたいで生成速度は速くなります。今のところは1024×1536ピクセルで1枚1分30秒〜2分程度で生成できています。NEXTGEARを購入する前と同じくらいの生成時間なので懐かしい感覚です。

Schnellモデルを使ってみた

　ここまではDev（NF4）モデルと呼ばれるものを使っていたのですが，生成速度が速くなることを期待して，Schnellモデルを使ってみました。最初はSchnell（FP8）というモデルをダウンロードしたのですが，私の環境ではエラーが出て画像生成ができませんでした。次にSchnell（NF4）モデルを試したところ，こちらでは画像生成ができました。Devモデルが20Steps推奨であるのに対してSchnellモデルは4Stepsと少ないので，生成時間が22,3秒くらいにまで短縮されました。
しかし，生成される画像を見ると明らかにDevモデルの方が高品質に感じました。（個人的な感想です…）
サンプル画像も掲載していますが，現段階では時間はかかるけどDevモデルを使った方がいいかなと思っています。今後利用できるモデルが増えると状況が変わるかもしれませんね。

スペック的に使える間は試してみたい

　限界ギリギリでやっと動いている私の環境ではいつ使えなくなるかわからないので，使える間は色々試してみようと思います。使えるモデルやLoRAなども引き続き検証したいです。
個人的にはSchnellモデルの生成速度でDevモデルの品質があればいいなぁと思うのですが…