……何やってたんだっけ？
我ながら謎です。ちょっと離れてたら忘れちゃいました
あんまり複雑なことやってないんだけど、検証がマニアックな所に迷い込んでいる感があるな
まあ、マニアックは常にですから、……平常運転？
要約
PixAI.artのLoRA学習で、学習画像の背景ありなし比率が結果に与える影響について検証します。前回の知見を活かして今回はモデル「Moonbeam」にすることで、アニメっぽさを抑えて黒髪にするという予想通りの成果を実現します。
はじめに
今回もVRoid Studioで作成した3DキャラクターのLoRA学習に挑戦します。前回、背景ありなし学習画像の比率を変えることで、LoRA生成時に背景を指定しつつ、画像崩壊を防ぎ、背景画風の影響をある程度抑えられることがわかりました。
今回は同じことを別モデルでやります。「Anything V5」のアニメっぽい雰囲気も好きですが、もうちょっと抑えたい。ということで「Moonbeam」です。絵柄が好みなんですけど、以前確認したときには髪の毛が灰色っぽくなるという課題がありました。これを背景ありなし比率で解決したい。
さらに、それ以外の目論見としてクレジットがあります。PixAI会員でなくなった今、コストは節約したいのですよ。
↓PixAI.artのLoRA学習については以下をご参照ください。
↓前回のほぼ3Dキャラミノ子はこちら。手が作画崩壊していなければAIイラストに見えないレベル。
好みの画風で黒髪！
LoRA学習
今回も前回同様、以前おこなった背景なし画素数検証と、背景ありの学習画像を適度に比率変えるだけのお手軽実験です。たったこれだけの検証ですけど、「Moonbeam」のコストは「Anything V5」の三分の二ですからね。成功すればだいぶ節約できます。
使うのは全て512px画像です。背景ありなし比率で0:30、26:4、30:0の結果は上記の記事にあります。前回同様に7:23、15:15、20:10を選びました。歪なのは我ながらわかってますけど、前回とそろえることにしました。
今回のLoRA学習はいつもとモデルが違って「Moonbeam」です。他は同じで、LoRAタイプは「アニメキャラ」、トリガーワードは「black short hair, green eyes, white robe, school emblem patch on the chest, bow tie」としました。
阿鼻叫喚の作画崩壊
まずはオーソドックスにトリガーワードのみのLoRA生成（比重1.0）。以前の画像も並べます。
予想通り「Moonbeam」を用いることでアニメっぽさを抑えられています。さらに比率20:10くらいまでなら黒髪にもなっています。……ぶっちゃけガチャなのかもしれないですけど、「一括（x4）」で生成して見えている傾向なので、大きく外してはいないはず。7:23は前回同様の崩壊ですけど。
お次は簡単なプロンプト追加。トリガーワード＋「in bar」です。
唯一居酒屋っぽい比率7:23は安定の作画崩壊。15:15は美少女風だけど、子供っぽいし洪水被害にあったテラス席みたいな感じ。20:10がキャラ的にはいちばんミノ子。けど背景が明らかに違うんですよね。……ひょっとして「Anything V5」より背景が不安定なんですかね？
最後は場所を変えてさらにプロンプトを複雑にします。トリガーワード＋「studying in the classroom」。背景に注目です。
比率7:23はここまで崩れてくると、逆にこういう作風に思えてきます。90年代アニメ的な雰囲気。他は悪くないんですけど、やっぱり背景がどこか違います。教室、ってよりは遺跡みたいな感じです。
キャラクターの絵柄を変えたい、黒髪にしたいという当初の目的には、わりと上手くいっています。コスト削減も達成できてます。……けど背景が指定できないとかなり困るのですよ。クレジットメリットは大きいんですが、このあたりが課題みたいです。
やっぱり背景が寂し気
最後は「DW Pose」を使ったポーズの再現です。いつもの元画像を「DW Pose」で認識してもらって、比重「1.0」のLoRA生成。プロンプトはトリガーワードのみ、他条件はこれまでと同じです。
ポーズ指定が難しい、……とかそれ以前に背景が気になります。指定したわけではないんですけど、セピア色の寂し気な感じになってしまいました。作風にあっていれば全然ウェルカムですけど、この話はおバカコメディ寄りなんですよね。
今回用いた「Moonbeam」の背景をあらためて確認すると、やっぱり寂し気なものが多いです。ここはひとつ作風プロンプトをやめて、明るい雰囲気の背景画像でLoRA学習ですかね。
……こうしてどんどんマニアックな方向に迷い込んでいくのですよ。
まとめ
PixAI.artのLoRA学習で、学習画像の背景ありなし比率が結果に与える影響について検証しました。前回の知見を活かして今回はモデル「Moonbeam」にすることで、アニメっぽさを抑えて黒髪にするという予想通りの成果を実現することができます。
↓PixAI.artのLoRA学習が使えれば、新キャラ登場にも即対応可能です。
↓PixAI.artの基本的な使い方はこちら。しばらく見ないと進化しているから怖い。
↓応用編にはAI4コマもあります。LoRAを使いこなせばストーリー漫画も作れますよね。
