Blog

Pony系モデルを研究する

プロンプトの違いで生成される画像もかなり変化することがわかりました

顔の生成を何とかしたい

 前の記事で書いたように,現在使っているreal pony cute_jp_Fixed_No.03,WAI-REAL_CNというモデルは今まで使っていたプロンプトだと同じ顔が生成されがちで,生成される顔が私の好みと違った感じになるという大きな問題があります。

何枚も生成していると「これはいいかも」と思う画像もあるのですが,後から改めて見ると今ひとつだったりすることも多いです。

この問題を何とかクリアして,SDXLでお気に入りのモデルにするためにプロンプトを研究することにしました。

①必要最小限のプロンプトにする

 まずはプロンプトをシンプルにしてみました。品質系のプロンプトと顔の生成に関するもののみにして,ネガティブプロンプトも品質系のものだけにしてみました。

この状態で画像を生成したところ,服を着ていない画像になったので,服装をプロンプトに追加して再チャレンジしました。

前の記事の画像と比べると少しはよくなったかな…という感じです。

②CIVITAIで公開されている画像のプロンプトをベースにする

 プロンプトはそのままコピーして,私の環境で使えないもの(LoRAやText Embeddingなど)は削除しました。生成を高速化するために常用しているLCM LoRAも一旦使わないようにして,サンプラーやStep数,CFGの設定も公開されているプロンプトと同じ設定で生成してみました。

すると今までとは違う,個人的にはいい感じの画像が生成されました。同じ系統の顔が生成されることもありますが,バリエーションも多くなった気がします。①よりもこちらの方法が良さそうに感じたので,これをベースに部分的にプロンプトを変更したり,サンプラーを変更する,LCM LoRAを使うなどの微調整をしながら,良い設定を探していこうと思います。

問題点解消で,常用モデルになりそうです

 最初に感じた顔の生成に関する問題が解消されたことで,Pony系はかなり使えるモデルになりました。PinkiePie pony mixというPony系モデルも追加して色々試しています。

今回使ったプロンプトをベースにすれば,今まで試してみたけどうまく生成できなかったPony系でないモデルも使えるモデルになりそうです。少し検証したところ,生成される顔の印象が変わって以前よりもいい感じになったモデルもあります。

モデルの実力を引き出すプロンプトを設定していないことを痛感してしまいました。

この記事へのコメント

コメントはまだありません。

コメントを送る

必須
必須  
※ メールアドレスは公開されません
任意
必須
Loading...  画像の文字を入力してください
1
2
3
4
5
6
7
8