昔から不思議に思ってたんだ。LoRAも使わずに似たようなキャラクターをたくさんAIイラスト生成している人がいるな―、って
reference機能を使ってるんじゃないですか？
……知ってたんなら早く教えんかーい！！
なぜ私が怒られる！？
要約
PixAI.artのreferecne機能、ControlNetの「ご参考までに」Methodの使い方を紹介します。生成されるAIイラストに与える「比重」と「スタイル」パラメータの影響を示し、さらにLoRAとの併用についても解説。
はじめに
PixAI.artのControlNetはひととおり遊びつくした、と思っていました。これらをLoRAキャラクターの再現性アップに用いるべく、久しぶりに見ていたら新しい項目を発見。その名も「ご参考までに」。……ホントですよ！？
6月10日現在は「ご参考までに」ですけど、数日前までは「reference」だったような気がします。試しに「AIイラスト reference」とかで検索するとたくさん出てきます。５月半ばのかなり新しい機能っぽいです。
ある画像のキャラクターや画風を参照して、似た人物のイラストを生成する機能、ポーズ変更やら服装変更も可能だとか。……なんということでしょう！ これこそ当サイトが目指すところの技術！
当サイトがLoRAをやっと作ったころに、世の中はこんな技術で遊んでいただなんて！ などと悔しがってもいられないので、遅ればせながら遊んでみますよ。
↓PixAI.artまとめ記事です。
↓ControlNetのMethodについてはこちら。
reference！ ……恐ろしい子！
まずはおとなしく数値振り
PixAI.artの「ご参考までに」機能はControlNetのMethodのひとつとして追加されています。画像生成画面の中ほどからControlNetへと進んで、Method一覧の一番下にあります。
「ご参考までに」のパラメータは「比重」と「スタイル」があって、正直違いがよくわからないんですけど、どちらも大きい値ほど元画像に忠実になります。デフォルトは「比重=1.0」で「スタイル=0.5」。
まずは前回出力した髪切り過ぎミノ子を参照画像として検証します。
デフォルトの「スタイル=0.5」に固定して、「比重」を振ります。モデルは「Moonbeam」、プロンプトは「girl1, smile」、LoRAの比重は「1.0」です。画像は「一括（×4）」で出力して、もっともそれっぽいものを以下に示すっていう独断と偏見作戦です。
「比重」を上げるとだんだんミノ子っぽくなっていく、妥当な結果ですな。残念なのは「比重=1.0」でもそれほどミノ子らしくない。黒髪で白い服に赤っぽいリボンだけど、髪の毛長いし校章ワッペンないし。
お次は「比重=1.0」にして「スタイル」を振ります。「スタイル=0.5」はさっきと同じですけど、参考までに示します。
「スタイル」を上げると参照画像に近づきますが、「比重=1.0、スタイル=0.5」に比べると、リボンの分だけ「比重=1.0、スタイル=1.0」のほうが再現性低いです。調べてみるとどうやら「スタイル=0.5」がおススメだとか。
……全体的にちょっと残念な結果です。ミノ子画像が一枚あれば、いくらでもミノ子っぽい画像を生成してもらえる、ってのを期待したんですけど、今回の検証条件だと、現時点最強の「比重=1.0、スタイル=0.5」でもそこまで再現性は高くないようです。
LoRAと併用したらどうなる？
じゃあ、LoRAと併用したらどうなるか？ 前回試したみたいに、お気に入り画像を参照して、プロンプトにLoRAを入れたら？
ということで確認です。参照画像は前回の「魔法使ってるっぽい女の子」、モデルは「Moonbeam」、プロンプトはLoRA＋「girl1, smile」、LoRAの比重は「1.0」で、「比重」と「スタイル」振ります。
さすがにLoRAを使えばすべてパーフェクトミノ子が出てきます。……地味にすごくね？ 多少の破綻は修正すればOK。けど問題は参照画像ガン無視ですよね。いくら修正しても目的を達成できそうにありません。
ということで「お気に入り画像持って来て『ご参考までに』作戦」はなかなか難しそうです。上手な人のを見るとイイ感じなので、何か使い方にコツがあるっぽいです。
初心にかえって
そもそもいきなりミノ子画像とか変なものを持ってきたのがマズかったかも、ということで普通にAIイラスト生成した画像である「魔法使ってるっぽい女の子」を、「同じAnything V5」で「ご参考までに」生成したらどうなるか？
画像1
画像2
画像1
画像2
何の問題もなくイイ感じの画像が出てきました。商業誌レベルでこれを使ったら「服が違う！ 別人か！」なんて言われるかもしえませんが、アマチュアが趣味で使う分には十分許容範囲で同一人物と言い張れそうです。
「普通にAIイラスト生成した画像」を「同じAnything V5」で「ご参考までに」生成可能、ってことがわかりました。ポイントは「普通にAIイラスト生成した画像」か？ それとも「同じAnything V5」か？ 次に気になることはここですよね。
微妙
では「普通にAIイラスト生成した画像」ではなく、「自作LoRAを使ってAIイラスト生成した変な画像」を「同じAnything V5」で「ご参考までに」生成してみます。
ちょうどこのあいだinpaintingの検証を行った際の画像に「Anything V5」で生成したものがあるので、これを参照画像にします。
もちろんモデルは「Anything V5」で、プロンプトは「girl1, smile」にして勝負！
画像1
画像2
画像1
画像2
かすってすらいねー！
出力された4枚のイラストは同一人物と主張できないこともないレベルですが、服は全然違います。そもそもミノ子ではありません。やっぱり参照画像ガン無視ですよね。
……ええい！ まだだ！ まだ終わらんのだよ！ LoRAだ！ LoRAを持てい！ プロンプトをLoRA＋「girl1, smile」に変更だ！
画像1
画像2
画像1
画像2
……なんて言うか微妙ですよね。参照画像を「氷っぽい洞窟探検」と見れば、生成されたイラスト（特に「スタイル=1.0」）は悪くないかも。LoRAを使ったことで再現性は高いし、氷っぽい洞窟にも見えるし。しかしなんだろうか、コレジャナイ感が激しいです。
なぜかと考えるとそもそも参照画像がイマイチ。もともとの「氷魔法を使っている感じ」が「氷っぽい洞窟探検」になり、それをもとにしたからさらにズレていった、という気がしてきました。目的はある程度達成したけど、誤差の積み重ねで別モノになったみたいです。
そもそも参照画像がしっかりしていなければならない、ってことでしょうかね。いつの日かリベンジだ！
まとめ
PixAI.artのreferecne機能、ControlNetの「ご参考までに」Methodの使い方を紹介しました。生成されるAIイラストに与える「比重」と「スタイル」パラメータの影響を示し、さらにLoRAとの併用についても解説。
結果はどうにも微妙です。LoRAと併用すると、元画像からの少しずつのズレが蓄積して、わりと別モノになって残念な結果を迎えるっぽいです。いつの日にかリベンジしたい！
↓inpaointingでお気に入り画像のキャラクターを入れ替える記事です。
↓「魔法を使っているっぽい女の子」はたまたま出てきました。
↓今回使ったLoRA（繰り返し数10、エポック数24）に関する説明はこちら。
↓髪切り過ぎミノ子が海に行く話です。
↓画像からキーワード抽出も素敵画像の雰囲気再現に役立つ予感です。
