どうやらLoRA学習では、学習画像の背景がキャラクターの絵柄に影響するっぽい
まあ妥当な結果ですよね。なんとなくそうだろうなぁ、と思っていたことが証明された、みたいな
今のところ「Moonbeam」が良さげなんだけど、なんで髪の毛が灰色っぽいんだ
……むしろ私が知りたいです
要約
PixAI.artのLoRA学習における、学習画像背景の影響を確認します。背景によってLoRA生成した際のキャラの雰囲気が変わるので、そこまで考えてLoRA学習する必要がありそうです。……これってあきらかに深入りするとヤバい、底なし沼ですよね。
はじめに
これまでPixAI.artでLoRA学習の検証を続けてきて、背景の影響が大きいことがわかっています。背景なし画像で学習すると、生成する時にプロンプトで指示しても背景が出ません。それ以外にも微妙に絵柄が違います。
キャラ的に今までで一番気に入っているのが、背景なしでLoRA学習したものなんですけど、これだとAIイラスト生成後のコラージュが必須になります。AIコラ依存を脱却するべく、背景がキャラの雰囲気に与える影響を検証します。
……でもこれって、手探りになったら組み合わせが無数にある底なし沼なんですよね。絶対にハマったらヤバいヤツ。早めに良いパターンを見つけたいです！
↓PixAI.artのLoRA学習に興味がある方はこちらですよ。
↓前回の背景は「Anything V5」です。悪くないんですけど、もうひと声。
思ったよりも変わります
LoRA学習
前回みたいにサイズの大きな画像を使おうとするとクレジット的に死ねるので、今回は512px限定とします。「Anything V5」で背景だけを単純に指示した画像は前回試しているので、そこから変化させた背景を準備しました。
選んだのは①「Moonbeam」で高精細を指示した背景（最初の検証で使った背景）、②「Anything V5」で場所指定＋「anime style」とした背景、③「PixAI Real Asian Style」で場所指定のみの背景です。
①を使ってVRoid Studioの3Dキャラクターを撮影した画像はすでにあります。ここから26枚を持って来て、背景なし（灰色無地）の4枚（これまた以前の流用）と合わせて計30枚の学習画像としました。
②と③の場所指定は以下の8種類です。それぞれ「一括（x4）」生成して、得られた32枚の画像から26枚を選びました。これらを背景として3Dキャラを撮影し、背景なし4枚と合わせて、こちらも全部で30枚を準備。
forest landscape
magic school scenery
street corner scenery
countryside square scenery
labyrinth scenery
dark cave landscape
oasis scenery
mountain landscape
②と③は同時に作ったのでわりと条件が合ってます。3Dキャラのポーズも同じですし。①はちょっと違う。でもあんまりこだわるとクレジットがいくらあっても足りないので、キニシナイ！
LoRA学習の条件は①がモデル「Moonbeam」で、②と③が「Anything V5」です。LoRAタイプは「アニメキャラ」、トリガーワードは「black short hair, green eyes, white robe, school emblem patch on the chest, bow tie」としました。
基本的な確認
まずは基本的な確認です。①は「Moonbeam」、②と③は「Anything V5」として、それぞれLoRA比重「1.0」でトリガーワードのみ生成リクエスト！
わりと雰囲気違います。①Moonbeamが3Dキャラのミノ子に一番近く見えます。 ②Anything V5はキャラもどこかアニメ的。③PixAI Real Asian Styleは大人びて見えます。好みは①ですけど、なんか髪の毛の色が薄い？
続いて背景を変えます。さきほどと同じ条件でプロンプトをトリガーワード＋「in bar」にします。居酒屋は学習画像の背景にないですよ。
傾向的にはさっきと同じ気がします。①Moonbeamは元画像に似てて素直、②Anything V5はアニメ的で、③PixAI Real Asian Styleは等身が大きい。学習時の背景で出来上がる人物の雰囲気が変わるなんて、ちょっと現実的で怖い気がします。
基本確認最後は、場所を変えた上で簡単なプロンプト指示を追加します。トリガーワード＋「studying in the classroom」です。
これは②Anything V5の勝利です。なんか書見台を使ってるみたいで江戸時代っぽいですけど、勉強してる感あり。①Moonbeamは隠れてスマホいじってましたよね。③PixAI Real Asian Styleはさっきからキャラの左右で空間断裂してます？
ポーズを付けて確認
お次はもうちょっと複雑に、ポーズを指定しての再現に挑戦です。いつもの「DW Pose」で比重は「1.0」です。トリガーワードのみのLoRA生成で、その他の条件はさっきと同じ。
やっぱりポーズの再現は難しいです。①Moonbeamと②Anything V5くらいなら、AIコラで頑張ってみようと思えるレベル。③PixAI Real Asian Styleはちょっと難しそう。でも手が完璧なのと顔が好みなので、私なら頑張ります！
お次は難しいポーズを……、とも思ったんですけど、嫌な予感しかしないので今回はパスです。この時点でAIコラ必須だとすると、難しいポーズは崩壊するに決まってますし。
なんかここまでやって、わりと絵柄はガチャ要素も強いのかと思えてきました。しかし！ それなりに傾向があるのも事実なので、なるべく良い組み合わせをえらびたいと思ってます。今のところ①Moonbeamがお気に入りなのですが、髪の毛の色が薄いんですよね。
ハイパーチェンジ！
だったらハイパーチェンジだ！ もともと当サイトの方針としては、LoRA生成でだいたいの方向性を決めておいて、「Anything V5」のInpainting機能でマスクをかけて再描画するって計画ですし。ここは確認しておく必要がありそうです。
元画像はさっきのトリガーワードのみLoRA生成画像、モデルは「Anything V5」で、「black short hair, green eye」＋作風プロンプト、Strengthを「0.35」に設定して再描画します。今回は絵柄を見るだけなのでマスクなしとし、全体を描き直し。
プロンプトの影響ではっきりした黒髪になるのを期待したのですが、①Moonbeamはあまり変わらず。②Anything V5はさらにアニメっぽくなって、ちょっとやり過ぎ感があります。③PixAI Real Asian Styleも悪くないけど、ちょっと大人っぽすぎます。
これまでの検証で良いと思っていたものはどうでしょうか？ ということで以前生成してもらった、④背景なし、と⑤Anything V5で場所指定のみの背景を用いたLoRA画像を確認。先ほどと同様にハイパーチェンジも見てみます。
これまたあんまり変わりません。強いて言うなら、ハイパーチェンジしたほうが好み、ってくらいです。キャラクターの好みで言うと④、①、⑤、③、②の順です。ただし④は背景指定できない。①はなんかちょっと髪の毛の色が薄い。
細かいことは気にせず①Moonbeamを使うか、それとも黒髪の⑤Anything V5場所のみで行くか。なかなか難しいところですが、後々まで影響してきそうなので、よく考えて決めたいと思います！
まとめ
PixAI.artのLoRA学習における、学習画像背景の影響を確認しました。背景によってLoRA生成した際のキャラの雰囲気が変わるので、そこまで考えてLoRA学習する必要がありそうです。……これってあきらかに深入りするとヤバい、底なし沼ですよね。
↓背景ありなし比率を変えれば黒髪ミノ子も実現できるっぽいです。
↓比率を変えることで、背景に引っ張られにくいLoRA学習ができるっぽいです。
↓キャラ的に好みなのに背景指定できないLoRAはこちら。
↓ハイパーチェンジもモデルで変わるので慎重に選びたいです。
↓今流行りの「動け！」はLoRA非対応です！ 残念！
