イントロダクション
Forgeの拡張機能導入の回で、ControlNetについて簡単に紹介をしました。
過去の記事については、以下のリンクからどうぞ。
ForgeにビルトインされているControlNetですが、インストールしたままの初期状態では、まともに機能する状態ではありません。
今回の記事は、そんなControlNetを駆使できるような環境整備の第一歩です。
基礎的な部分からできる限り丁寧に紹介していきます。
ControlNet用のモデルの導入
モデルがインストールされていないとどうなるか
ForgeのUIの中段ぐらいには、Generationというタブがあり、そのさらに下の方にControlNet Integratedというタブがあります。
私たちがControlNetを操作する場合は、ここに指示を追加していきます。
クリックしてタブを開きましょう。
ControlNetで、ポーズの指示を出すための機能である、「OpenPose」という機能を使いたい場合は、下記画像赤枠のように、OpenPoseにチェックを入れ、「プリプロセッサ」に「OpenPose」を指定して、「モデル」を選択することになります。
しかし、ControlNet用のモデルを導入していない場合、「モデル」タブをクリックしても、「なし」としか表示されません。
この状態では、ControlNetは使用することが出来ません。
モデルのダウンロード
ControlNetで使われるモデルは、各所でダウンロードすることができます。
将来的には検索して各々好みのものを採用することになりますが、ここでは、最も基本的なControlNet用のモデルをインストールすることとします。
下記リンクは、Forgeの製作者であるlllyasviel氏自身がGithub上に公開しているwikiへのリンクです。
このリンクを開き、右側にある「ControlNet model download」をクリックします。
下記画像のページに接続すると、ずらっと英文が並んでいます。
興味がある人は翻訳するなどして一読することをオススメします。
読むのがめんどくさいという方は、下記画像の赤枠で囲まれた部分に注目してください。
SDXLを生成するのではない場合は、選択肢が3つあり、Large(1.45GB) Medium(723MB) Small(136MB)の三つから、ご自分のストレージ容量と相談して、「here」をクリックします。
SDXLを利用するモデルの場合は、Lvmin’s collection、Qinglong’s Controllllite SDXL modelsのどちらかを選んでダウンロードします。
ここでは、Large1.45GBと、Qinglong’s Controllllite SDXL modelsをインストールすることとして説明を進めます。
補足説明：SDXLとは、Stability AI社が開発した最新のAI画像生成モデルです。従来のモデルに比べて、より高品質な画像を生成することが可能です。対応しているモデルの場合、ダウンロードしたモデルの名前のどこかにXLが付いています（おそらくほとんどの場合ですが…）。モデルによってControlNet model を使い分けることになります。
Large1.45GBのダウンロード
まず、SD1.5/2.0対応のControlNetモデルをダウンロードしていきます。
SDXL対応モデルしか使用しない方は、読み飛ばしても構いません。
上記画像の、hereをクリックすると、Hugging faceのダウンロードページにジャンプします。
ダウンロードするファイルは、「LFS」と記載があるサイズが大きいファイルです。
これを、～\stable-diffusion-webui-forge\models\ControlNet フォルダの中にダウンロードして放り込んでいきます。
WebUI版とは、保存場所が異なりますので、ご注意ください。
合計で14個のファイルをダウンロードすることになるかと思いますが、必要のない機能がある場合、各自の判断で省いてください。
また、今回Large版をダウンロードしましたが、ストレージの残量が気になる場合は、省サイズ版を選択しましょう。
Qinglong’s Controllllite SDXL modelsのダウンロード
次は、Qinglong’s Controllllite SDXL modelsのダウンロードです。
再び、イリヤスフィール氏のwikiへ飛びます。
画像赤枠部分からHugging Faceへジャンプ。
Hugging Faceでは、先ほどと同じようにダウンロードを行います。
保存場所は、先ほどと同じ ～\stable-diffusion-webui-forge\models\ControlNet フォルダ内です。
こちらのリポジトリは、サイズが軽い上に、ファイル名にxlが付いているので、使い分けもしやすいかと思います。
ControlNetの稼働テスト
上記手順を終え、UIを再起動すると、ControlNetでモデル追加を確認できると思います。
テストとして、確認が簡単なCannyを稼働させてみましょう。
1girlなど、簡単なプロンプトで生成した画像を、Cannyで線画化してみます。
ControlNet Integratedを開き、変換する画像をセットし、赤枠部分を上記のように設定します。
準備が完了したら、緑色の枠線部分（プリプロセッサとモデルの間）をクリックすると、画像が線画化されます。
以下は、実行した画像です。
以上で、ControlNetの使用準備が完了したことになります。
コメント