使ってみたいカスタムノードNo.1かも

　Web上の記事を見ていると様々なカスタムノードが紹介されていますが，その中でも使ってみたいと思ったのがControlNetでした。下記のサイトで紹介されていたので試してみました。

生成AIグラビアをグラビアカメラマンが作るとどうなる？第71回：衣装チェンジ、画像コピーからアウトペイントまで、Krea 2界隈はますます活発に（西川和久） | テクノエッジ TechnoEdge

環境を構築する

　上記の記事には環境構築については書かれていなかったので，下記のWebサイトの記事を参考にして作業を進めました。

ComfyUIでKrea 2のDepth ControlNet LoRAを試してみた｜混合順

カスタムノードのインストール，必要なファイルのダウンロードなど記事通り進めるとControlNetが使えるようになりました。思っていたよりも簡単にできたので驚きました。

ComfyUI-Krea2TextEncoderを加える

　上記のウェブサイトで紹介されていたワークフローは生成されるプロンプトがタグ形式になるので，一番上の参考サイトで紹介されていたカスタムノードで置き換えることにしました。

https://github.com/ethanfel/ComfyUI-Krea2TextEncoder

上記のウェブサイトではカスタムノードのインストール方法がわからなかったので，検索して以下のコマンドを使ってインストールしました。

git clone https://github.com/ethanfel/ComfyUI-Krea2TextEncoder.git

ノードの接続などは一番上の参考サイトを見ながら行いました。現在使っているワークフローのプロンプト拡張の部分を置き換える形になりました。プロンプト拡張で使っていたシステムプロンプトをそのままComfyUI-Krea2TextEncoderノードのシステムプロンプトとして使うことにしました。
使ってみて気になったことは画像からどんなプロンプトを生成したのかわからないということでした。どうにかしてプロンプトを見たいのですがまだできていません。

ControlNet用のノードをコピーして完成

　最後に環境構築時に使ったワークフローからControlNet用のノードをコピーしました。前回紹介したカスタムノードやLoRAも使えるように結線してテスト生成してみましたがうまくいきました。
ControlNet用のノードはいくつかパラメータがあるのですが，デフォルト設定のままで大丈夫でした。私の環境では1枚1分ちょっとで生成できましたが，メモリは結構ギリギリ状態みたいで生成中は動作が緩慢になります。

サンプル画像です

　いくつか画像を生成してみましたが，うまく動作しているようです。サンプル画像は当サイトのギャラリー画像を元にControlNetで生成してみました。公開はしていませんがアニメ調の画像を元画像にしてControlNetで画像を生成しつつ，ComfyUI-krea2-negpipを使ってリアル調の画像にすることもできました。